Rechner für den Inhaltsvalidierungsindex (CVI)
Fügen Sie die Relevanzbewertungen Ihres Expertenpanels ein – 1 bis 4 für jedes Item – und erhalten Sie den I-CVI jedes Items und das um die Zufallsübereinstimmung bereinigte modifizierte Kappa, den skalenbezogenen S-CVI/Ave und S-CVI/UA sowie die Angabe, ob jedes Item Lynns (1986) Mindestwert für ein Panel Ihrer Größe erfüllt, mit dem Rechenweg für jedes gewählte Item. Kostenlos, ohne Anmeldung, und die Bewertungen verlassen nie Ihren Browser.
Aus einer Tabellenkalkulation einfügen oder Bewertungen durch Kommas oder Leerzeichen getrennt eingeben: 1 = nicht relevant, 2 = etwas relevant, 3 = ziemlich relevant, 4 = sehr relevant. Leere Zellen werden übersprungen.
Ergebnisse
Fügen Sie die Bewertungen des Panels ein oder laden Sie das Beispiel, um den I-CVI jedes Items und die skalenbezogenen CVIs zu sehen.
So verwenden Sie den CVI-Rechner
- 1. Sammeln Sie die Bewertungen. Bitten Sie jeden Experten, die Relevanz jedes Items für das Konstrukt auf der vierstufigen Skala zu bewerten, die Davis (1992) beschriftet hat: 1 = nicht relevant, 2 = etwas relevant, 3 = ziemlich relevant, 4 = sehr relevant.
- 2. Fügen Sie sie ein. Das Standardlayout hat eine Zeile pro Experte und eine Spalte pro Item. Hat Ihre Tabelle eine Zeile pro Item, wählen Sie unter Jede Zeile der Tabelle ist die Option Ein Item. Namen in der ersten Zeile und der ersten Spalte werden automatisch erkannt.
- 3. Lesen Sie die Item-Tabelle. Jedes Item zeigt, wie viele Experten es mit 3 oder 4 bewertet haben, seinen I-CVI, die Zufallsübereinstimmung Pc, das modifizierte Kappa k* mit seiner Bewertung und ob es Lynns Mindestwert erfüllt. Wählen Sie ein beliebiges Item, um seinen Rechenweg zu sehen.
- 4. Berichten Sie die Skala. Nennen Sie zuerst S-CVI/Ave, geben Sie S-CVI/UA daneben an, berichten Sie die Spanne der I-CVIs und laden Sie die Item-Tabelle als CSV für einen Anhang herunter.
So wird der Inhaltsvalidierungsindex berechnet
Die Bewertungen werden dichotomisiert: 3 und 4 zählen als relevant, 1 und 2 als nicht relevant. Alles Weitere ergibt sich aus Zählen.
- I-CVI = A ÷ N, wobei A die Zahl der Experten ist, die das Item mit 3 oder 4 bewertet haben, und N die Zahl derer, die es bewertet haben (Lynn, 1986). Vier von fünf Experten ergeben 0,80.
- S-CVI/Ave = der Mittelwert der I-CVIs (Polit & Beck, 2006). Ohne leere Bewertungen entspricht er dem durchschnittlichen Anteil der Items, die jeder Experte als relevant bezeichnet hat; das Tool listet ihn pro Experte auf.
- S-CVI/UA = der Anteil der Items, die jeder Experte mit 3 oder 4 bewertet hat – Universal Agreement, die vollständige Übereinstimmung.
- Pc = N! ÷ (A! × (N − A)!) × 0,5ᴺ: die Wahrscheinlichkeit, dass genau A von N Experten das Item als relevant bezeichnen, wenn jeder per fairem Münzwurf entscheidet.
- k* = (I-CVI − Pc) ÷ (1 − Pc), das modifizierte Kappa von Polit, Beck und Owen (2007), das die Übereinstimmung herausrechnet, die ein kleines Panel zufällig erreichen könnte.
Rechenbeispiel: Sechs Experten bewerten acht Items
Drücken Sie Beispiel laden. Sechs Experten haben acht Item-Entwürfe bewertet. Vier Items haben alle sechs mit 3 oder 4 bewertet, zwei haben fünf von ihnen so bewertet, eines vier und eines drei:
| Items | Mit 3 oder 4 bewertet | I-CVI | Pc | k* | Bewertung | Lynn (6 Experten) |
|---|---|---|---|---|---|---|
| 1, 2, 3, 5 | 6 von 6 | 1,00 | 0,016 | 1,00 | Exzellent | Erfüllt |
| 6, 7 | 5 von 6 | 0,83 | 0,094 | 0,82 | Exzellent | Erfüllt |
| 4 | 4 von 6 | 0,67 | 0,234 | 0,56 | Befriedigend | Unterschritten |
| 8 | 3 von 6 | 0,50 | 0,313 | 0,27 | Schwach | Unterschritten |
Das Rechenbeispiel öffnet Item 4, das erste Item ohne universelle Übereinstimmung: Pc = 6! ÷ (4! × 2!) × 0,5⁶ = 15 × 0,015625 = 0,234, und k* = (0,667 − 0,234) ÷ (1 − 0,234) = 0,56. Auf Skalenebene ergeben sich S-CVI/Ave = (4 × 1,00 + 2 × 0,83 + 0,67 + 0,50) ÷ 8 = 0,85 und S-CVI/UA = 4 ÷ 8 = 0,50 – beide liegen unter den üblichen Zielwerten.
Die Items 4 und 8 sind diejenigen, die Sie überarbeiten oder streichen sollten. Ohne sie erreichen die übrigen sechs Items S-CVI/Ave = 0,94 und S-CVI/UA = 0,67 – das Muster, vor dem Polit und Beck (2006) gewarnt haben: Der Mittelwertindex übertrifft 0,90, sobald die schwachen Items entfallen, während universelle Übereinstimmung mit sechs Experten schwer zu erreichen bleibt, weil eine abweichende Bewertung ein Item von ihr ausschließt.
Was gute Inhaltsvalidität ausmacht
| Index | Üblicher Richtwert | Quelle |
|---|---|---|
| I-CVI, 3–5 Experten | 1,00 – jeder Experte bewertet das Item mit 3 oder 4 | Lynn (1986) |
| I-CVI, 6–10 Experten | 5 von 6, 6 von 7, 7 von 8, 7 von 9, 8 von 10 – nie unter 0,78 | Lynn (1986); Polit & Beck (2006) |
| k* | Exzellent über 0,74, gut 0,60–0,74, befriedigend 0,40–0,59 | Polit, Beck & Owen (2007) |
| S-CVI/Ave | 0,90 oder mehr | Polit & Beck (2006), nach Waltz, Strickland & Lenz (2005) |
| S-CVI/UA | 0,80 oder mehr, ein strenger Maßstab | Davis (1992), gelesen durch Polit & Beck (2006) |
Die beiden Regeln auf Item-Ebene können sich widersprechen. Bei fünf Experten verlangt Lynn, dass alle fünf übereinstimmen; vier von fünf ergeben jedoch k* = 0,76, was Polit, Beck und Owen als exzellent bewerten. Sie folgerten, dass ein I-CVI von 0,78 oder mehr bei drei oder mehr Experten ein Beleg für gute Inhaltsvalidität ist. Der Rechner zeigt beide Angaben an; nennen Sie daher, welche Regel Sie angewendet haben. Jenseits von zehn Experten endet Lynns Tabelle, und das Tool wendet die Untergrenze von 0,78 an.
Ein CVI misst nur die Übereinstimmung über die Relevanz, mehr nicht. Er sagt nichts darüber aus, ob die Items verständlich sind, ob die Menge das gesamte Konstrukt abdeckt oder wie sich die Skala bei echten Befragten verhält. Fragen Sie Experten daher auch nach Verständlichkeit und Abdeckung, und ergänzen Sie die Inhaltsvalidierung um Pilotdaten und eine Reliabilitätsanalyse.
Häufig gestellte Fragen
- Was ist ein guter Inhaltsvalidierungsindex?
- Für Items verlangte Lynn (1986) bei drei bis fünf Experten einen I-CVI von 1,00 und setzte für größere Panels Mindestwerte von 5 von 6 bis 8 von 10 an, nie unter 0,78. Für die ganze Skala empfehlen Polit und Beck (2006) einen S-CVI/Ave von 0,90 oder mehr, und 0,80 ist ein gängiges, strenges Ziel für S-CVI/UA.
- Wie viele Experten brauche ich für einen Inhaltsvalidierungsindex?
- Lynn hielt mindestens drei für nötig und vermutete, dass mehr als zehn wahrscheinlich unnötig sind. Viele Studien verwenden fünf bis zehn. Mehr Experten machen den I-CVI jedes Items unempfindlicher gegenüber einer ungewöhnlichen Bewertung, erschweren aber auch die universelle Übereinstimmung und damit S-CVI/UA.
- Worin unterscheiden sich S-CVI/Ave und S-CVI/UA?
- S-CVI/Ave mittelt die I-CVIs der Items, daher trägt ein Item, das fünf von sechs Experten als relevant bewertet haben, weiterhin 0,83 bei. S-CVI/UA zählt nur Items, die jeder Experte mit 3 oder 4 bewertet hat, daher sinkt er mit wachsendem Panel. Polit und Beck (2006) bevorzugen S-CVI/Ave und empfehlen anzugeben, welches Verfahren Sie verwendet haben.
- Warum sollte man neben dem I-CVI auch ein modifiziertes Kappa berechnen?
- Bei wenigen Experten kann hohe Übereinstimmung zufällig entstehen: Zwei Experten, die raten, sagen beide in einem Viertel der Fälle „relevant“. Das modifizierte Kappa zieht die Binomialwahrscheinlichkeit der beobachteten Übereinstimmung ab und zeigt so, ob ein I-CVI für ein Panel dieser Größe beeindruckend ist.
- Worin unterscheidet sich der CVI vom CVR?
- Das Content Validity Ratio (Lawshe, 1975) fragt Experten, ob jedes Item essenziell, nützlich, aber nicht essenziell oder nicht notwendig ist, und berechnet CVR = (nₑ − N/2) ÷ (N/2), wobei nₑ die Zahl derer ist, die „essenziell“ gewählt haben. Der CVI fragt stattdessen nach der Relevanz auf einer vierstufigen Skala. Beide beantworten verwandte Fragen und sind nicht austauschbar; dieser Rechner berechnet den CVI.
- Kann ich eine dreistufige oder fünfstufige Relevanzskala verwenden?
- Lynn empfahl genau vier Stufen, um eine ambivalente Mittelkategorie zu vermeiden, und der I-CVI unterscheidet nur zwischen relevant und nicht relevant. Hat Ihr Panel eine andere Skala verwendet, legen Sie fest, welche Bewertungen relevant bedeuten, kodieren Sie diese auf 4 und alle übrigen auf 1 um und fügen Sie dann die umkodierte Tabelle ein.