Kalkulator kappy Cohena

Jak korzystać z kalkulatora kappy Cohena

1. 1. Wybierz format danych. Użyj Tabela zgodności (liczebności), jeśli masz już liczebności — kategorie oceniającego A w pionie, kategorie oceniającego B w poziomie. Użyj Dwie kolumny ocen, jeśli masz jeden wiersz na obiekt z etykietą każdego oceniającego.
2. 2. Wklej dane. Skopiuj wprost z arkusza albo wpisz z tabulatorami, przecinkami lub spacjami. Nazwy kategorii w wierszu nagłówka są opcjonalne. Kalkulator pokazuje zbudowaną tabelę zgodności z sumami wierszy i kolumn, abyś mógł ją sprawdzić.
3. 3. Ustaw kolejność kategorii dla ocen porządkowych. Kappa ważona traktuje kategorie jako uporządkowane od najniższej do najwyższej. Kody liczbowe sortują się automatycznie; dla słów, takich jak Niezaliczone, Zaliczone i Wyróżnienie, wpisz kolejność w polu.
4. 4. Odczytaj kappę i jej przedział. Dostajesz κ, jej 95% CI, zgodność obserwowaną i przypadkową oraz test z dla κ = 0. Przy trzech lub więcej kategoriach tabela dodaje kappę ważoną liniowo i kwadratowo. Gdy skończysz, skopiuj zdanie w stylu APA.

Wzór na kappę Cohena

Kappa porównuje zgodność, jaką oceniający faktycznie osiągnęli, ze zgodnością, jaką dwaj oceniający osiągnęliby przypadkiem, gdyby przydzielali kategorie niezależnie, zgodnie z własnymi obserwowanymi proporcjami:

• pₒ — zgodność obserwowana: udział obiektów, które oba oceniające zaliczyli do tej samej kategorii (przekątna tabeli podzielona przez n).
• pₑ — zgodność przypadkowa: Σ (suma wiersza × suma kolumny) / n², zgodność oczekiwana, gdy każdy oceniający zachowuje własne proporcje kategorii, ale wybiera niezależnie.
• κ = 1 oznacza zgodność doskonałą, κ = 0 zgodność nie lepszą niż przypadek, a wartości ujemne — zgodność mniejszą niż przypadkowa.

Kappa ważona przyznaje częściowe uznanie za drobne pomyłki na skali uporządkowanej: κw = (pₒ(w) − pₑ(w)) / (1 − pₑ(w)), gdzie każda komórka jest mnożona przez wagę zgodności. Wagi liniowe (Cicchettiego–Allisona) to w = 1 − |i − j| / (k − 1); wagi kwadratowe (Fleissa–Cohena) to w = 1 − (i − j)² / (k − 1)². Przy wagach kwadratowych kappa jest ściśle związana z korelacją wewnątrzklasową.

95% CI to κ ± 1,96 × SE, z błędem standardowym dla dużej próby według Fleissa, Cohena i Everitta (1969); test z dla κ = 0 korzysta z drugiego błędu standardowego, obliczonego przy tej hipotezie zerowej. Oba są asymptotyczne, więc w małych próbach traktuj je jako przybliżone. To wzory, których używa SAS PROC FREQ, a kalkulator odtwarza jego udokumentowane przykłady z dokładnością do czterech miejsc po przecinku.

Przykład krok po kroku: dwóch nauczycieli ocenia 50 wypracowań

Dwaj nauczyciele ocenili te same 50 wypracowań jako niskie, średnie lub wysokie. W trybie tabeli naciśnij Wczytaj przykład, aby wprowadzić ich liczebności:

Nauczyciele zgadzają się w 14 + 13 + 11 = 38 wypracowaniach, więc pₒ = 38 / 50 = 0,76. Zgodność przypadkowa wynosi pₑ = (18 × 16 + 19 × 18 + 13 × 16) / 50² = 838 / 2500 = 0,3352. Wtedy κ = (0,76 − 0,3352) / (1 − 0,3352) = 0,639, z SE = 0,091, 95% CI [0,461; 0,817] i z = 6,41, p < 0,001. Przy tych marginesach największa możliwa kappa wynosi 0,910, więc to nie sufit ogranicza kappę — ogranicza ją 12 niezgodnych ocen.

Kappy ważone są wyższe, ponieważ 11 z 12 niezgodności dzieli tylko jedna kategoria. Ponieważ Niski, Średni i Wysoki są uporządkowane, kappa ważona jest tu rzetelnym podsumowaniem; dla kategorii nieuporządkowanych, takich jak rozpoznania, sens ma tylko wartość nieważona.

Jak interpretować kappę i ją raportować

Landis i Koch opisali swoje podziały jako arbitralne, a inni autorzy stosują surowsze, więc podawaj wartość i jej przedział, a nie samą etykietę. Kappa zależy też od marginesów. Gdy jedna kategoria jest bardzo częsta, zgodność przypadkowa jest wysoka i kappa może być niska, mimo że oceniający zgadzają się w większości obiektów — to „paradoks kappy” opisany przez Feinsteina i Cicchettiego (1990). Podanie pₒ, pₑ i największej możliwej kappy obok κ pomaga czytelnikowi zrozumieć, dlaczego.

Raport w stylu APA dla przykładu: „Zgodność między nauczycielami była znaczna, kappa Cohena κ = ,64, 95% CI [,46; ,82], z = 6,41, p < ,001 (n = 50).” Ponieważ kappa nie może przekroczyć 1, styl APA pomija zero przed przecinkiem dziesiętnym.

Częste błędy

• Podawanie zgodności procentowej jako rzetelności. 76% zgodności brzmi mocno, ale dwaj nauczyciele oceniający niezależnie, zgodnie z własnymi proporcjami, zgodziliby się przypadkiem w około 34% tych wypracowań; kappa usuwa ten udział.
• Ważenie kategorii nominalnych. Kappa ważona zakłada kolejność. Dla kategorii bez kolejności używaj wartości nieważonej.
• Pomylona tabela. Wiersze muszą należeć do jednego oceniającego, a kolumny do drugiego, a kategorie muszą być w tej samej kolejności po obu stronach, tak by zgodności wypadały na przekątnej.
• Testowanie κ = 0 i poprzestanie na tym. Istotne z oznacza tylko, że zgodność przewyższa przypadek — słaba kappa może być bardzo istotna w dużej próbie.

Najczęstsze pytania

Jaka wartość kappy Cohena jest dobra?

Według progów Landisa i Kocha (1977) 0,41–0,60 to zgodność umiarkowana, 0,61–0,80 znaczna, a powyżej 0,80 prawie doskonała. To, co jest akceptowalne, zależy od stawki: oceny, które wpływają na decyzje o osobach, np. rozpoznania, wymagają znacznie wyższej zgodności niż kodowanie eksploracyjne. Ponieważ progi są umowne, podawaj kappę wraz z przedziałem ufności i porównuj ją z tym, co raportują podobne badania w Twojej dziedzinie.

Czym różni się kappa Cohena od zgodności procentowej?

Zgodność procentowa to po prostu pₒ, czyli udział obiektów, które oceniający zakwalifikowali tak samo. Kappa odejmuje zgodność oczekiwaną przypadkiem i przeskalowuje wynik, więc 0 oznacza zgodność na poziomie przypadku, a 1 — zgodność doskonałą. Dwaj oceniający, którzy oboje oznaczają 90% przypadków jako „prawidłowe”, będą się często zgadzać także przez przypadek; zgodność procentowa to nagradza, kappa nie.

Kiedy używać kappy ważonej i jakich wag?

Gdy kategorie są uporządkowane, tak że pomylenie Niskiego ze Średnim to mniejszy błąd niż pomylenie Niskiego z Wysokim. Wagi liniowe karzą niezgodność proporcjonalnie do odległości między kategoriami; wagi kwadratowe mocniej karzą odległe niezgodności i dają wartości zbliżone do korelacji wewnątrzklasowej. Podaj, jakie wagi zastosowano, bo zmieniają wynik.

Dlaczego kappa jest niska, gdy oceniający zgadzają się przez większość czasu?

Bo zgodność przypadkowa jest wysoka, gdy dominuje jedna kategoria. Jeśli obaj oceniający oznaczają 95% przypadków jako negatywne, zgodzą się w większości przypadków nawet przy ocenianiu losowym, więc pₑ jest duże, a przestrzeń powyżej niego mała. To jest paradoks kappy; podawaj pₒ i pₑ obok κ oraz największą możliwą kappę z kalkulatora, aby czytelnicy widzieli wpływ marginesów.

Czy mogę użyć kappy Cohena dla więcej niż dwóch oceniających?

Nie — kappa Cohena porównuje dokładnie dwóch oceniających. Gdy każdy obiekt ocenia ta sama liczba oceniających, użyj kappy Fleissa. Niektóre badania ze stałym panelem oceniających zamiast tego uśredniają kappy Cohena każdej pary oceniających (kappa Lighta).