Kalkulator kappy Fleissa

Jak korzystać z kalkulatora kappy Fleissa

1. 1. Wybierz format danych. Liczebności w kategoriach przyjmuje jeden wiersz na obiekt i jedną kolumnę na kategorię; każda komórka mówi, ilu oceniających wybrało tę kategorię. Jedna ocena w komórce przyjmuje surowe dane — jeden wiersz na obiekt, jedną kolumnę na oceniającego — i sam je liczy.
2. 2. Wklej dane. Kopiuj wprost z arkusza. Nazwy obiektów w pierwszej kolumnie i nazwy kategorii w wierszu nagłówka są opcjonalne. W tabeli liczebności każdy wiersz musi sumować się do tej samej liczby oceniających; wiersze, które tego nie spełniają, są podświetlane.
3. 3. Sprawdź tabelę. Kalkulator pokazuje liczebności, których użyje, z sumą każdego obiektu w kolumnie n, zanim poda jakikolwiek wynik.
4. 4. Odczytaj wyniki. Dostajesz κ Fleissa, średnią zgodność obserwowaną P̄, zgodność przypadkową P̄ₑ, test z dla κ = 0 oraz κ dla każdej kategorii. Skopiuj zdanie w stylu APA do swojego opisu.

Wzór na kappę Fleissa

Fleiss (1971) rozszerzył kappę na dowolną liczbę oceniających. Załóżmy, że N obiektów jest ocenianych przez n oceniających do k kategorii, a nᵢⱼ oceniających przydziela obiekt i do kategorii j. Zgodność wewnątrz jednego obiektu to udział par oceniających, którzy się zgadzają:

• P̄ — średnia zgodność po obiektach.
• pⱼ — udział wszystkich N × n ocen, które wpadły do kategorii j.
• P̄ₑ — zgodność oczekiwana, gdyby oceniający wybierali kategorie losowo w tych ogólnych proporcjach.
• κ — zgodność ponad przypadek, przeskalowana tak, że 1 oznacza zgodność doskonałą, a 0 poziom przypadkowy.

Kalkulator podaje też κⱼ dla każdej kategorii, która traktuje tę kategorię przeciwko wszystkim pozostałym razem wziętym, oraz test z dla κ = 0, używający standardowego błędu Fleissa, Nee i Landisa (1979). Ten błąd standardowy wyprowadza się przy hipotezie zerowej, więc jest poprawny dla testu, ale nie dla przedziału ufności. Aby uzyskać przedział, zastosuj bootstrap po obiektach.

Przykład krok po kroku: czterech koderów, dziesięć postów

Czterech koderów sklasyfikowało dziesięć postów w mediach społecznościowych jako Pozytywny, Neutralny lub Negatywny. Naciśnij Wczytaj przykład, aby wprowadzić liczebności:

Dla posta 2, Pᵢ = (3² + 1² + 0² − 4) / (4 × 3) = 6 / 12 = 0,500. Dziesięć wartości daje średnio P̄ = 0,700. Czterdzieści ocen dzieli się na 14 Pozytywnych, 16 Neutralnych i 10 Negatywnych, więc pⱼ = 0,35, 0,40 i 0,25, a P̄ₑ = 0,35² + 0,40² + 0,25² = 0,345. Wtedy κ = (0,700 − 0,345) / (1 − 0,345) = 0,542, czyli umiarkowana zgodność według skali Landisa i Kocha. Przy SE₀ = 0,0922 mamy z = 5,88 i p < 0,001.

Kappy dla kategorii pokazują, gdzie oceniający się nie zgadzają: κ dla Pozytywnego = 0,634, dla Negatywnego = 0,556, a dla Neutralnego = 0,444. Neutralny to kategoria, którą koderzy najtrudniej stosują konsekwentnie — sygnał, by doprecyzować jej definicję w książce kodowej przed kodowaniem całej próby.

Interpretacja i raportowanie kappy Fleissa

Kappę Fleissa zwykle odczytuje się według skali Landisa i Kocha (1977): 0,21–0,40 dostateczna, 0,41–0,60 umiarkowana, 0,61–0,80 znaczna, a powyżej 0,80 niemal doskonała. Podobnie jak przy kappie Cohena, progi są umowne, a kappa spada, gdy jedna kategoria dominuje w ocenach, nawet przy wysokiej zgodności. Podawaj κ wraz z liczbą obiektów, oceniających i kategorii, a także kappy dla kategorii, gdy się różnią.

Raport w stylu APA dla przykładu: „Zgodność między czterema koderami była umiarkowana, κ Fleissa = ,54, z = 5,88, p < ,001 (10 obiektów, po 4 oceniających).” Ponieważ kappa nie może przekroczyć 1, styl APA pomija zero przed przecinkiem dziesiętnym.

Założenia i częste błędy

• Nierówna liczba ocen. Każdy obiekt musi mieć tyle samo oceniających. Obiekty z brakującymi ocenami trzeba usunąć albo użyć alfy Krippendorffa, która na to pozwala.
• Kategorie porządkowe. Kappa Fleissa traktuje kategorie jako nieuporządkowane, więc bliska pomyłka liczy się tak samo jak daleka. Dla ocen uporządkowanych rozważ współczynnik korelacji wewnątrzklasowej.
• Wiersze, które się nie sumują. W formacie liczebności wiersz to, ilu oceniających wybrało każdą kategorię, a nie którzy; więc każdy wiersz musi dać n.
• Czytanie testu z jako miary siły. Małe p mówi tylko, że zgodność przewyższa przypadek; wielkość κ mówi, jak dobrze oceniający się zgadzają.
• Mylenie kappy Fleissa z kappą Cohena przy dwóch oceniających. Przy dwóch oceniających kappa Fleissa jest równa π Scotta, co może nieznacznie różnić się od kappy Cohena.

Najczęstsze pytania

Czym różni się kappa Fleissa od kappy Cohena?

Kappa Cohena mierzy zgodność dokładnie dwóch oceniających i do oszacowania zgodności przypadkowej używa proporcji kategorii każdego z nich. Kappa Fleissa obsługuje dowolną liczbę oceniających i łączy wszystkie oceny, aby oszacować przypadek. Przy dwóch oceniających kappa Fleissa redukuje się do π Scotta, a nie do kappy Cohena, więc obie mogą się nieznacznie różnić.

Czy ci sami oceniający muszą oceniać każdy obiekt?

Nie. Kappa Fleissa wymaga tylko, by każdy obiekt otrzymał tyle samo ocen; mogą je dać różne osoby. To pasuje do projektów, w których na przykład dowolni trzej z dwudziestu recenzentów kodują każdy dokument. Jeśli jeden stały panel ocenia wszystko, kappa Fleissa nadal działa, choć niektórzy badacze wolą uśredniać kappy Cohena po każdej parze oceniających.

Jaka wartość kappy Fleissa jest dobra?

Według wskaźników Landisa i Kocha (1977) 0,41–0,60 to zgodność umiarkowana, 0,61–0,80 znaczna, a 0,81–1,00 niemal doskonała. Te etykiety są umowne, a nie testami; to, co akceptowalne, zależy od tego, do czego posłużą oceny. Podawaj wartość wraz z kontekstem — obiekty, oceniający, kategorie — a nie samą etykietę.

Dlaczego kalkulator nie podaje przedziału ufności dla kappy Fleissa?

Błąd standardowy wyprowadzony przez Fleissa, Nee i Landisa (1979) zakłada κ = 0, więc jest poprawny do sprawdzenia, czy zgodność przewyższa przypadek, ale zbyt mały lub zbyt duży, by budować wokół niezerowej kappy przedział. Bootstrap po obiektach — losuj ponownie wiersze, przelicz κ i weź 2,5. oraz 97,5. percentyl — daje wiarygodny przedział.

Czy mogę użyć kappy Fleissa dla ocen porządkowych?

Możesz, ale ignoruje ona kolejność: ocena obiektu jako 1 zamiast 2 liczy się jako ta sama niezgodność co ocena jako 1 zamiast 5. Dla skal uporządkowanych współczynnik korelacji wewnątrzklasowej albo alfa Krippendorffa z metryką porządkową wykorzystuje tę informację.

Co zrobić, gdy niektóre obiekty mają brakujące oceny?

Kappa Fleissa wymaga tej samej liczby ocen dla każdego obiektu. W formacie surowych ocen kalkulator zachowuje obiekty z najczęstszą liczbą ocen i mówi, ile pominął. Jeśli wiele obiektów jest niekompletnych, alfa Krippendorffa jest zaprojektowana dla brakujących ocen.