Fleiss'-kappa-calculator
Meet de overeenstemming tussen drie of meer beoordelaars die onderwerpen in categorieën indelen. Plak een tabel onderwerpen × categorieën met aantallen — of ruwe beoordelingen, één rij per onderwerp — en krijg Fleiss' kappa, de waargenomen en de toevallige overeenstemming, een z-toets en een kappa per categorie, met de berekening getoond. Gratis, zonder registratie, en het draait volledig in je browser.
Elke cel is het aantal beoordelaars dat dat onderwerp in die categorie zette, dus elke rij telt op tot het aantal beoordelaars. Onderwerpnamen in de eerste kolom en categorienamen in een kopregel zijn optioneel.
Plak een tabel met aantallen, of één rij beoordelingen per onderwerp, om Fleiss' kappa te zien.
Zo gebruik je de Fleiss'-kappa-calculator
- 1. Kies een gegevensformaat. Aantallen per categorie neemt één rij per onderwerp en één kolom per categorie, waarbij elke cel zegt hoeveel beoordelaars voor die categorie kozen. Één beoordeling per cel neemt de ruwe gegevens — één rij per onderwerp, één kolom per beoordelaar — en telt ze voor je.
- 2. Plak de gegevens. Kopieer rechtstreeks uit een spreadsheet. Onderwerpnamen in de eerste kolom en categorienamen in een kopregel zijn optioneel. In de aantallentabel moet elke rij optellen tot hetzelfde aantal beoordelaars; rijen die dat niet doen, worden gemarkeerd.
- 3. Controleer de tabel. De calculator toont de aantallen die hij gebruikt, met het totaal van elk onderwerp in de kolom n, voordat hij een resultaat geeft.
- 4. Lees de resultaten. Je krijgt Fleiss' κ, de gemiddelde waargenomen overeenstemming P̄, de overeenstemming door toeval P̄ₑ, een z-toets van κ = 0 en een κ per categorie. Kopieer de APA-regel voor je tekst.
De formule van Fleiss' kappa
Fleiss (1971) breidde kappa uit naar elk aantal beoordelaars. Stel dat N onderwerpen elk door n beoordelaars in k categorieën worden ingedeeld, en dat nᵢⱼ beoordelaars onderwerp i in categorie j zetten. De overeenstemming binnen één onderwerp is het aandeel beoordelaarsparen dat het eens is:
Formules
Pᵢ = (Σⱼ nᵢⱼ² − n) / (n(n − 1))
P̄ = (1/N) Σᵢ Pᵢ P̄ₑ = Σⱼ pⱼ² κ = (P̄ − P̄ₑ) / (1 − P̄ₑ)
- P̄ — de gemiddelde overeenstemming over de onderwerpen.
- pⱼ — het aandeel van alle N × n beoordelingen dat in categorie j viel.
- P̄ₑ — de overeenstemming die je verwacht als beoordelaars op goed geluk categorieën kiezen, in die totale verhoudingen.
- κ — overeenstemming boven toeval, geschaald zodat 1 perfect is en 0 het toevalsniveau.
De calculator geeft ook κⱼ voor elke categorie, die één categorie behandelt tegenover alle andere samen, en een z-toets van κ = 0 met de standaardfout van Fleiss, Nee en Landis (1979). Die standaardfout wordt afgeleid onder de nulhypothese, dus hij is geldig voor de toets maar niet voor een betrouwbaarheidsinterval. Voor een interval kun je de onderwerpen bootstrappen.
Uitgewerkt voorbeeld: vier codeerders, tien berichten
Vier codeerders classificeerden tien berichten op sociale media als Positief, Neutraal of Negatief. Druk op Laad voorbeeld om de aantallen in te voeren:
| Bericht | Positief | Neutraal | Negatief | Pᵢ |
|---|---|---|---|---|
| 1 | 4 | 0 | 0 | 1,000 |
| 2 | 3 | 1 | 0 | 0,500 |
| 3 | 0 | 4 | 0 | 1,000 |
| 4 | 0 | 3 | 1 | 0,500 |
| 5 | 1 | 1 | 2 | 0,167 |
| 6 | 0 | 0 | 4 | 1,000 |
| 7 | 2 | 2 | 0 | 0,333 |
| 8 | 0 | 1 | 3 | 0,500 |
| 9 | 4 | 0 | 0 | 1,000 |
| 10 | 0 | 4 | 0 | 1,000 |
Bij bericht 2 is Pᵢ = (3² + 1² + 0² − 4) / (4 × 3) = 6 / 12 = 0,500. De tien waarden tellen gemiddeld op tot P̄ = 0,700. De 40 beoordelingen verdelen zich over 14 Positief, 16 Neutraal en 10 Negatief, dus pⱼ = 0,35, 0,40 en 0,25, en P̄ₑ = 0,35² + 0,40² + 0,25² = 0,345. Dan is κ = (0,700 − 0,345) / (1 − 0,345) = 0,542: matige overeenstemming volgens de maatstaven van Landis en Koch. Met SE₀ = 0,0922 is z = 5,88 en p < 0,001.
De categoriekappa's laten zien waar de codeerders het oneens zijn: Positief κ = 0,634, Negatief κ = 0,556 en Neutraal κ = 0,444. Neutraal is de categorie die de codeerders het moeilijkst consistent kunnen toepassen — een aanwijzing om de definitie ervan in het codeboek aan te scherpen voordat je de volledige steekproef codeert.
Fleiss' kappa interpreteren en rapporteren
Fleiss' kappa wordt meestal afgezet tegen de maatstaven van Landis en Koch (1977): 0,21–0,40 redelijk, 0,41–0,60 matig, 0,61–0,80 substantieel en boven 0,80 bijna perfect. Net als bij Cohen's kappa zijn de grenzen conventies, en wordt kappa omlaag getrokken wanneer één categorie de beoordelingen domineert, ook als de overeenstemming hoog is. Rapporteer κ met het aantal onderwerpen, beoordelaars en categorieën, en de categoriekappa's wanneer die verschillen.
In APA-stijl: "De overeenstemming tussen de vier codeerders was matig, Fleiss' κ = .54, z = 5.88, p < .001 (10 onderwerpen, elk door 4 beoordelaars)." Omdat kappa niet groter kan zijn dan 1, valt de voorloop-nul weg, zoals APA voorschrijft.
Aannames en veelgemaakte fouten
- Ongelijke aantallen beoordelingen. Elk onderwerp moet door hetzelfde aantal beoordelaars zijn beoordeeld. Onderwerpen met ontbrekende beoordelingen moeten worden weggelaten, of je gebruikt Krippendorffs alfa, die ontbrekende gegevens toestaat.
- Geordende categorieën. Fleiss' kappa behandelt categorieën als ongeordend, dus een bijna-misser telt even zwaar als een grove misser. Voor geordende beoordelingen is een intraklassencorrelatie een betere keuze.
- Rijen die niet optellen. In het aantallenformaat is een rij hoeveel beoordelaars voor elke categorie kozen, niet welke; dus elke rij moet optellen tot n.
- De z-toets lezen als maat voor sterkte. Een kleine p-waarde zegt alleen dat de overeenstemming beter is dan toeval; de grootte van κ zegt hoe goed de beoordelaars het eens zijn.
- Cohen's kappa verwachten bij twee beoordelaars. Bij twee beoordelaars is Fleiss' kappa gelijk aan Scotts pi, wat iets kan afwijken van Cohen's kappa.
Veelgestelde vragen
- Wat is het verschil tussen Fleiss' kappa en Cohen's kappa?
- Cohen's kappa meet de overeenstemming tussen precies twee beoordelaars en gebruikt de categorieverhoudingen van elke beoordelaar afzonderlijk om de toevallige overeenstemming te schatten. Fleiss' kappa werkt met elk aantal beoordelaars en voegt alle beoordelingen samen om de toeval te schatten. Bij twee beoordelaars wordt Fleiss' kappa gelijk aan Scotts pi in plaats van aan Cohen's kappa, dus die kunnen iets verschillen.
- Moeten dezelfde beoordelaars elk onderwerp beoordelen?
- Nee. Fleiss' kappa vereist alleen dat elk onderwerp evenveel beoordelingen krijgt; verschillende personen mogen die leveren. Dat past bij ontwerpen waarin bijvoorbeeld elk document door drie van twintig recensenten wordt gecodeerd. Als één vaste groep alles beoordeelt, werkt Fleiss' kappa ook, al geven sommige onderzoekers de voorkeur aan het middelen van Cohen's kappa over elk paar beoordelaars.
- Wat is een goede waarde voor Fleiss' kappa?
- Op de maatstaven van Landis en Koch (1977) is 0,41–0,60 matig, 0,61–0,80 substantieel en 0,81–1,00 bijna perfecte overeenstemming. Die labels zijn conventies en geen toetsen, en wat acceptabel is hangt af van hoe de beoordelingen worden gebruikt. Rapporteer de waarde met haar context — onderwerpen, beoordelaars, categorieën — en niet alleen het label.
- Waarom geeft de calculator geen betrouwbaarheidsinterval voor Fleiss' kappa?
- De standaardfout die Fleiss, Nee en Landis (1979) afleidden, gaat uit van κ = 0. Hij is dus correct voor het toetsen of de overeenstemming beter is dan toeval, maar te klein of te groot om een interval om een niet-nul kappa te bouwen. Een bootstrap over de onderwerpen — de rijen opnieuw trekken, κ opnieuw berekenen en het 2,5e en 97,5e percentiel nemen — geeft een verdedigbaar interval.
- Kan ik Fleiss' kappa gebruiken voor ordinale beoordelingen?
- Dat kan, maar het negeert de volgorde: een onderwerp een 1 geven in plaats van een 2 telt even zwaar als een 1 in plaats van een 5. Voor geordende schalen gebruikt een intraklassencorrelatie, of Krippendorffs alfa met een ordinale maat, die informatie wel.
- Wat moet ik doen als sommige onderwerpen ontbrekende beoordelingen hebben?
- Fleiss' kappa vereist evenveel beoordelingen per onderwerp. In het formaat met ruwe beoordelingen houdt de calculator de onderwerpen met het meest voorkomende aantal beoordelingen en vertelt hij hoeveel hij heeft weggelaten. Als veel onderwerpen onvolledig zijn, is Krippendorffs alfa bedoeld voor ontbrekende beoordelingen.