Cohen's-kappa-calculator

Zo gebruik je de Cohen's-kappa-calculator

1. 1. Kies je gegevensformaat. Gebruik Overeenstemmingstabel als je al aantallen hebt — de categorieën van beoordelaar A langs de zijkant, die van beoordelaar B bovenaan. Gebruik Twee kolommen met beoordelingen als je één rij per onderwerp hebt, met het label van elke beoordelaar.
2. 2. Plak de data. Kopieer rechtstreeks uit een spreadsheet of typ met tabs, komma's of spaties. Categorienamen in een kopregel zijn optioneel. De calculator toont de overeenstemmingstabel die hij heeft opgebouwd, met rij- en kolomtotalen, zodat je die kunt controleren.
3. 3. Stel de categorievolgorde in voor ordinale beoordelingen. Gewogen kappa behandelt categorieën als geordend van laag naar hoog. Numerieke codes sorteren automatisch; voor woorden zoals Onvoldoende, Voldoende en Goed typ je de volgorde in het vak.
4. 4. Lees kappa en het interval. Je krijgt κ, het 95%-betrouwbaarheidsinterval, de waargenomen en de door toeval verwachte overeenstemming, en een z-toets van κ = 0. Bij drie of meer categorieën voegt een tabel lineair en kwadratisch gewogen kappa toe. Kopieer de APA-regel wanneer je klaar bent.

De formule van Cohen's kappa

Kappa vergelijkt de overeenstemming die de beoordelaars werkelijk bereiken met de overeenstemming die twee beoordelaars door toeval zouden bereiken als ze categorieën onafhankelijk toekennen op basis van hun eigen waargenomen frequenties:

• pₒ — waargenomen overeenstemming: het aandeel onderwerpen dat beide beoordelaars in dezelfde categorie plaatsen (de diagonaal van de tabel gedeeld door n).
• pₑ — overeenstemming door toeval: Σ (rijtotaal × kolomtotaal) / n², de overeenstemming die je verwacht als elke beoordelaar zijn eigen categorieverhoudingen behoudt maar onafhankelijk kiest.
• κ = 1 betekent perfecte overeenstemming, κ = 0 betekent overeenstemming die niet beter is dan toeval, en negatieve waarden betekenen minder overeenstemming dan toeval.

Gewogen kappa geeft gedeeltelijke waardering voor bijna-overeenkomsten op een geordende schaal: κw = (pₒ(w) − pₑ(w)) / (1 − pₑ(w)), waarbij elke cel wordt vermenigvuldigd met een overeenstemmingsgewicht. Lineaire (Cicchetti–Allison) gewichten zijn w = 1 − |i − j| / (k − 1); kwadratische (Fleiss–Cohen) gewichten zijn w = 1 − (i − j)² / (k − 1)². Met kwadratische gewichten hangt kappa nauw samen met de intraklassencorrelatie.

Het 95%-betrouwbaarheidsinterval is κ ± 1,96 × SE, met de standaardfout voor grote steekproeven van Fleiss, Cohen en Everitt (1969); de z-toets van κ = 0 gebruikt een tweede standaardfout die onder die nulhypothese wordt berekend. Beide zijn asymptotisch, dus behandel ze als benaderingen bij kleine steekproeven. Het zijn de formules die SAS PROC FREQ gebruikt, en de calculator reproduceert zijn gedocumenteerde voorbeelden tot op vier decimalen.

Uitgewerkt voorbeeld: twee docenten beoordelen 50 essays

Twee docenten beoordeelden elk dezelfde 50 essays als Laag, Gemiddeld of Hoog. Druk in de tabelmodus op Voorbeeld laden om hun aantallen in te voeren:

De docenten zijn het eens over 14 + 13 + 11 = 38 essays, dus pₒ = 38 / 50 = 0,76. De overeenstemming door toeval is pₑ = (18 × 16 + 19 × 18 + 13 × 16) / 50² = 838 / 2.500 = 0,3352. Dan is κ = (0,76 − 0,3352) / (1 − 0,3352) = 0,639, met SE = 0,091, 95%-BI [0,461; 0,817] en z = 6,41, p < 0,001. Bij deze marges is de grootst mogelijke kappa 0,910, dus het plafond is niet wat kappa hier omlaag houdt — de 12 onenigheden wel.

De gewogen kappa's zijn hoger omdat 11 van de 12 onenigheden maar één categorie uit elkaar liggen. Omdat Laag, Gemiddeld en Hoog geordend zijn, is een gewogen kappa hier een eerlijke samenvatting; voor ongeordende categorieën, zoals diagnoses, heeft alleen de ongewogen waarde zin.

Kappa interpreteren en rapporteren

Landis en Koch beschreven hun indelingen als willekeurig, en andere auteurs hanteren strengere, dus geef het getal en zijn interval in plaats van alleen het label. Kappa hangt ook af van de marges. Wanneer één categorie erg vaak voorkomt, is de overeenstemming door toeval hoog en kan kappa laag zijn, zelfs als de beoordelaars het over de meeste onderwerpen eens zijn — de “kappa-paradox” die Feinstein en Cicchetti (1990) beschreven. Het rapporteren van pₒ, pₑ en de maximaal haalbare kappa naast κ helpt een lezer begrijpen waarom.

Een APA-rapportage van het voorbeeld: "Agreement between the two teachers was substantial, Cohen's κ = .64, 95% CI [.46, .82], z = 6.41, p < .001 (n = 50)." Kappa kan niet boven 1 uitkomen, dus de APA-stijl laat de voorloopnul weg.

Veelgemaakte fouten

• Procentuele overeenstemming als betrouwbaarheid rapporteren. 76% overeenstemming klinkt sterk, maar twee docenten die onafhankelijk op hun eigen tempo beoordelen, zouden bij deze essays ongeveer 34% door toeval eens zijn; kappa haalt dat aandeel eraf.
• Nominale categorieën wegen. Gewogen kappa veronderstelt een volgorde. Voor categorieën zonder volgorde gebruik je de ongewogen waarde.
• De tabel door elkaar halen. Rijen moeten de ene beoordelaar zijn en kolommen de andere, met de categorieën in dezelfde volgorde aan beide kanten, zodat de overeenstemmingen op de diagonaal vallen.
• κ = 0 toetsen en daar stoppen. Een significante z zegt alleen dat de overeenstemming beter is dan toeval — een zwakke kappa kan in een grote steekproef zeer significant zijn.

Veelgestelde vragen

Wat is een goede waarde voor Cohen's kappa?

Volgens de normen van Landis en Koch (1977) is 0,41–0,60 matig, 0,61–0,80 substantieel en boven 0,80 bijna perfect. Wat aanvaardbaar is, hangt af van wat er op het spel staat: beoordelingen die beslissingen over individuen voeden, zoals diagnoses, hebben veel hogere overeenstemming nodig dan verkennende codering. Omdat de normen conventies zijn, rapporteer kappa met zijn betrouwbaarheidsinterval en vergelijk het met wat vergelijkbare studies in je vakgebied rapporteren.

Wat is het verschil tussen Cohen's kappa en procentuele overeenstemming?

Procentuele overeenstemming is simpelweg pₒ, het aandeel onderwerpen dat de beoordelaars op dezelfde manier classificeerden. Kappa trekt de door toeval verwachte overeenstemming eraf en schaalt het resultaat, zodat 0 overeenstemming op toevalsniveau betekent en 1 perfecte overeenstemming. Twee beoordelaars die allebei 90% van de gevallen als “normaal” labelen, zullen vaak door toeval alleen overeenstemmen; procentuele overeenstemming beloont dat, kappa niet.

Wanneer gebruik ik gewogen kappa, en welke gewichten?

Gebruik gewogen kappa wanneer de categorieën geordend zijn, zodat verwarren van Laag met Gemiddeld een kleinere fout is dan verwarren van Laag met Hoog. Lineaire gewichten bestraffen onenigheid naar verhouding van de afstand tussen categorieën; kwadratische gewichten bestraffen verre onenigheden zwaarder en geven waarden die dicht bij een intraklassencorrelatie liggen. Vermeld welke gewichten je hebt gebruikt, want die veranderen het resultaat.

Waarom is kappa laag terwijl de beoordelaars de meeste keren het eens zijn?

Omdat de overeenstemming door toeval hoog is wanneer één categorie overheerst. Als beide beoordelaars 95% van de gevallen negatief noemen, zullen ze het over de meeste gevallen eens zijn, zelfs bij willekeurig beoordelen, dus is pₑ groot en de ruimte erboven klein. Dit is de kappa-paradox; rapporteer pₒ en pₑ naast κ, en de maximaal haalbare kappa van de calculator, zodat lezers het effect van de marges kunnen zien.

Kan ik Cohen's kappa gebruiken met meer dan twee beoordelaars?

Nee — Cohen's kappa vergelijkt precies twee beoordelaars. Wanneer elk onderwerp door hetzelfde aantal beoordelaars wordt beoordeeld, gebruik je Fleiss' kappa. Sommige studies met een vast panel beoordelaars middelen in plaats daarvan de Cohen's kappa van elk paar beoordelaars (Light's kappa).