Kalkulator indeksu trafności treści (CVI)

Wyniki

Wklej oceny panelu albo wczytaj przykład, aby zobaczyć I-CVI każdej pozycji i wskaźniki dla całej skali.

Jak korzystać z kalkulatora CVI

1. 1. Zbierz oceny. Poproś każdego eksperta o ocenę trafności każdej pozycji względem konstruktu w czteropunktowej skali, którą Davis (1992) opisał: 1 = nietrafna, 2 = częściowo trafna, 3 = dość trafna, 4 = bardzo trafna.
2. 2. Wklej je. Domyślny układ to jeden wiersz na eksperta i jedna kolumna na pozycję. Jeśli twój arkusz ma jeden wiersz na pozycję, wybierz Jedna pozycja w polu Każdy wiersz tabeli to. Nazwy w pierwszym wierszu i pierwszej kolumnie są wykrywane automatycznie.
3. 3. Odczytaj tabelę pozycji. Każda pozycja pokazuje, ilu ekspertów oceniło ją na 3 lub 4, jej I-CVI, zgodność przypadkową Pc, zmodyfikowaną kappę k* z oceną i to, czy spełnia minimum Lynna. Wybierz dowolną pozycję, by zobaczyć jej obliczenia.
4. 4. Opisz skalę. Zacznij od S-CVI/Ave, podaj obok S-CVI/UA, zanotuj zakres I-CVI i pobierz tabelę pozycji jako CSV do aneksu.

Jak oblicza się indeks trafności treści

Oceny są dychotomizowane: 3 i 4 liczą się jako trafne, 1 i 2 jako nietrafne. Reszta wynika z liczenia.

• I-CVI = A ÷ N, gdzie A to liczba ekspertów, którzy ocenili pozycję na 3 lub 4, a N to liczba tych, którzy ją ocenili (Lynn, 1986). Czterech z pięciu ekspertów daje 0,80.
• S-CVI/Ave = średnia I-CVI (Polit i Beck, 2006). Gdy nie ma pustych ocen, równa się średniemu udziałowi pozycji uznanych za trafne przez każdego eksperta, który narzędzie podaje osobno dla każdego eksperta.
• S-CVI/UA = udział pozycji, które każdy ekspert ocenił na 3 lub 4 — zgodność powszechna.
• Pc = N! ÷ (A! × (N − A)!) × 0,5ᴺ: prawdopodobieństwo, że dokładnie A z N ekspertów uzna pozycję za trafną, jeśli każdy rozstrzyga rzutem uczciwą monetą.
• k* = (I-CVI − Pc) ÷ (1 − Pc), zmodyfikowana kappa Polita, Becka i Owena (2007), która odejmuje zgodność, jaką mały panel mógłby osiągnąć przypadkiem.

Przykład krok po kroku: sześciu ekspertów ocenia osiem pozycji

Naciśnij Wczytaj przykład. Sześciu ekspertów oceniło osiem roboczych pozycji. Cztery pozycje zostały ocenione na 3 lub 4 przez wszystkich sześciu, dwie przez pięciu, jedna przez czterech, a jedna przez trzech:

Panel obliczeń otwiera się na pozycji 4, pierwszej bez zgodności powszechnej: Pc = 6! ÷ (4! × 2!) × 0,5⁶ = 15 × 0,015625 = 0,234, a k* = (0,667 − 0,234) ÷ (1 − 0,234) = 0,56. Na poziomie skali S-CVI/Ave = (4 × 1,00 + 2 × 0,83 + 0,67 + 0,50) ÷ 8 = 0,85, a S-CVI/UA = 4 ÷ 8 = 0,50 — oba poniżej zwyczajowych celów.

Pozycje 4 i 8 warto poprawić lub usunąć. Bez nich pozostałe sześć pozycji osiąga S-CVI/Ave = 0,94 i S-CVI/UA = 0,67 — wzorzec, przed którym ostrzegali Polit i Beck (2006): wskaźnik średni przekracza 0,90, gdy słabe pozycje znikną, ale zgodność powszechna pozostaje trudna do osiągnięcia przy sześciu ekspertach, bo jedna rozbieżna ocena usuwa pozycję z tej zgodności.

Co oznacza dobra trafność treści

Dwie reguły dla pozycji mogą się różnić. Przy pięciu ekspertach Lynn wymaga zgodności wszystkich pięciu, ale czterech z pięciu daje k* = 0,76, które Polit, Beck i Owen oceniają jako doskonałe — a oni uznali, że I-CVI równe 0,78 lub więcej przy trzech lub większej liczbie ekspertów jest dowodem dobrej trafności treści. Kalkulator podaje obie wartości, więc podaj, którą regułę zastosowałeś. Powyżej dziesięciu ekspertów tabela Lynna się kończy i narzędzie stosuje próg 0,78.

CVI mierzy wyłącznie zgodność co do trafności. Nic nie mówi o tym, czy pozycje są jasne, czy zestaw obejmuje cały konstrukt, ani jak skala zachowuje się z prawdziwymi respondentami — pytaj ekspertów także o jasność i zakres, a po walidacji treści zbadaj skalę danymi pilotażowymi i analizą rzetelności.

Najczęstsze pytania

Jaki jest dobry indeks trafności treści?

Dla pozycji Lynn (1986) wymagał I-CVI równego 1,00 przy trzech do pięciu ekspertach i ustalał minima od 5 z 6 do 8 z 10 dla większych paneli, nigdy poniżej 0,78. Dla całej skali Polit i Beck (2006) zalecają S-CVI/Ave na poziomie 0,90 lub więcej, a 0,80 to powszechny, surowy cel dla S-CVI/UA.

Ilu ekspertów potrzebuję do indeksu trafności treści?

Lynn doradzał co najmniej trzech i sugerował, że więcej niż dziesięciu prawdopodobnie nie jest potrzebne. Wiele badań używa od pięciu do dziesięciu. Więcej ekspertów sprawia, że I-CVI każdej pozycji jest mniej wrażliwe na jedną nietypową ocenę, ale też że zgodność powszechna, a więc S-CVI/UA, jest trudniejsza do osiągnięcia.

Czym różni się S-CVI/Ave od S-CVI/UA?

S-CVI/Ave uśrednia I-CVI pozycji, więc pozycja uznana za trafną przez pięciu z sześciu ekspertów nadal wnosi 0,83. S-CVI/UA liczy tylko pozycje, które każdy ekspert ocenił na 3 lub 4, więc spada wraz ze wzrostem panelu. Polit i Beck (2006) wolą S-CVI/Ave i zalecają podanie, którą metodę zastosowano.

Dlaczego obliczać także zmodyfikowaną kappę, a nie tylko I-CVI?

Przy kilku ekspertach wysoka zgodność może pojawić się przypadkiem: dwaj eksperci, którzy zgadują, zgodnie uznają coś za trafne w co czwartym przypadku. Zmodyfikowana kappa odejmuje prawdopodobieństwo dwumianowe obserwowanej zgodności, więc pokazuje, czy I-CVI jest imponujące dla panelu tej wielkości.

Czym różni się CVI od CVR?

Współczynnik trafności treści (CVR, Lawshe, 1975) pyta ekspertów, czy każda pozycja jest niezbędna, przydatna, ale nie niezbędna, czy niepotrzebna, i oblicza CVR = (nₑ − N/2) ÷ (N/2), gdzie nₑ to liczba ekspertów, którzy wybrali „niezbędna”. CVI pyta zamiast tego o trafność na skali czteropunktowej. Oba odpowiadają na pokrewne pytania, ale nie są wymienne; ten kalkulator liczy CVI.

Czy mogę użyć skali trzy- lub pięciopunktowej?

Lynn zalecał cztery punkty właśnie po to, by uniknąć dwuznacznej opcji środkowej, a I-CVI rozróżnia tylko trafne i nietrafne. Jeśli twój panel użył innej skali, zdecyduj, które oceny oznaczają trafność, przekoduj trafne na 4, a pozostałe na 1, i wklej przekodowaną tabelę.