Cohens-Kappa-Rechner

So verwenden Sie den Cohens-Kappa-Rechner

1. 1. Wählen Sie Ihr Datenformat. Verwenden Sie Übereinstimmungstabelle, wenn Sie bereits Anzahlen haben — die Kategorien von Rater A links untereinander, die von Rater B oben nebeneinander. Verwenden Sie Zwei Spalten mit Bewertungen, wenn Sie eine Zeile pro Subjekt mit der Bewertung jedes Raters haben.
2. 2. Fügen Sie die Daten ein. Kopieren Sie direkt aus einer Tabellenkalkulation oder tippen Sie mit Tabulatoren, Kommas oder Leerzeichen. Kategorienamen in einer Kopfzeile sind optional. Der Rechner zeigt die Übereinstimmungstabelle, die er erstellt hat, mit Zeilen- und Spaltensummen, damit Sie sie prüfen können.
3. 3. Legen Sie die Kategorienreihenfolge für ordinale Bewertungen fest. Gewichtetes Kappa behandelt die Kategorien als geordnet von niedrig nach hoch. Numerische Codes werden automatisch sortiert; bei Wörtern wie Nicht bestanden, Bestanden und Auszeichnung geben Sie die Reihenfolge in das Feld ein.
4. 4. Lesen Sie Kappa und sein Intervall. Sie erhalten κ, sein 95-%-Konfidenzintervall, die beobachtete und die zufällige Übereinstimmung sowie einen z-Test von κ = 0. Bei drei oder mehr Kategorien ergänzt eine Tabelle das linear und quadratisch gewichtete Kappa. Kopieren Sie die Zeile im APA-Stil, wenn Sie fertig sind.

Die Formel für Cohens Kappa

Kappa vergleicht die Übereinstimmung, die die Rater tatsächlich erreicht haben, mit der Übereinstimmung, die zwei Rater zufällig erreichen würden, wenn sie Kategorien unabhängig voneinander im Verhältnis ihrer eigenen beobachteten Anteile vergeben:

• pₒ — beobachtete Übereinstimmung: der Anteil der Subjekte, die beide Rater in dieselbe Kategorie einordnen (die Diagonale der Tabelle geteilt durch n).
• pₑ — zufällige Übereinstimmung: Σ (Zeilensumme × Spaltensumme) / n², die Übereinstimmung, die zu erwarten ist, wenn jeder Rater seine eigenen Kategorieanteile beibehält, aber unabhängig wählt.
• κ = 1 bedeutet perfekte Übereinstimmung, κ = 0 eine Übereinstimmung, die nicht besser ist als der Zufall, und negative Werte bedeuten weniger Übereinstimmung, als der Zufall erwarten lässt.

Gewichtetes Kappa gibt Teilpunkte für knappe Abweichungen auf einer geordneten Skala: κw = (pₒ(w) − pₑ(w)) / (1 − pₑ(w)), wobei jede Zelle mit einem Übereinstimmungsgewicht multipliziert wird. Lineare Gewichte (Cicchetti–Allison) sind w = 1 − |i − j| / (k − 1); quadratische Gewichte (Fleiss–Cohen) sind w = 1 − (i − j)² / (k − 1)². Mit quadratischen Gewichten ist Kappa eng mit der Intraklassenkorrelation verwandt.

Das 95-%-Konfidenzintervall ist κ ± 1,96 × SE, mit dem Standardfehler für große Stichproben von Fleiss, Cohen und Everitt (1969); der z-Test von κ = 0 verwendet einen zweiten Standardfehler, der unter dieser Nullhypothese berechnet wird. Beide sind asymptotisch, behandeln Sie sie daher bei kleinen Stichproben als Näherungen. Es sind die Formeln, die SAS PROC FREQ verwendet, und der Rechner reproduziert dessen dokumentierte Beispiele auf vier Dezimalstellen.

Durchgerechnetes Beispiel: Zwei Lehrkräfte bewerten 50 Aufsätze

Zwei Lehrkräfte bewerteten dieselben 50 Aufsätze jeweils als Niedrig, Mittel oder Hoch. Drücken Sie im Tabellenmodus auf Beispiel laden, um deren Anzahlen einzugeben:

Die Lehrkräfte stimmen bei 14 + 13 + 11 = 38 Aufsätzen überein, also ist pₒ = 38 / 50 = 0,76. Die zufällige Übereinstimmung ist pₑ = (18 × 16 + 19 × 18 + 13 × 16) / 50² = 838 / 2.500 = 0,3352. Dann ist κ = (0,76 − 0,3352) / (1 − 0,3352) = 0,639, mit SE = 0,091, 95-%-KI [0,461; 0,817] und z = 6,41, p < 0,001. Bei diesen Randsummen liegt das größtmögliche Kappa bei 0,910; die Obergrenze hält κ hier also nicht nieder — die 12 Abweichungen tun es.

Die gewichteten Kappas sind höher, weil 11 der 12 Abweichungen nur um eine Kategorie auseinanderliegen. Da Niedrig, Mittel und Hoch geordnet sind, ist ein gewichtetes Kappa hier eine faire Zusammenfassung; bei ungeordneten Kategorien, etwa Diagnosen, ist nur der ungewichtete Wert sinnvoll.

Kappa interpretieren und berichten

Landis und Koch beschrieben ihre Einteilungen als willkürlich, und andere Autoren verwenden strengere, daher geben Sie die Zahl und ihr Intervall an statt nur das Etikett. Kappa hängt außerdem von den Randsummen ab. Ist eine Kategorie sehr häufig, ist die zufällige Übereinstimmung hoch, und Kappa kann niedrig ausfallen, selbst wenn sich die Rater bei den meisten Subjekten einig sind — das von Feinstein und Cicchetti (1990) beschriebene „Kappa-Paradoxon“. Wenn Sie pₒ, pₑ und das maximal erreichbare Kappa zusammen mit κ angeben, sieht ein Leser, warum.

Ein Bericht des Beispiels im APA-Stil: „Die Übereinstimmung zwischen den beiden Lehrkräften war substanziell, Cohens κ = ,64, 95-%-KI [,46; ,82], z = 6,41, p < ,001 (n = 50).“ Kappa kann nicht über 1 liegen, daher lässt der APA-Stil die führende Null weg.

Häufige Fehler

• Prozentuale Übereinstimmung als Zuverlässigkeit melden. 76 % Übereinstimmung klingt stark, aber zwei Lehrkräfte, die unabhängig nach ihren eigenen Quoten bewerten, würden bei diesen Aufsätzen zufällig in etwa 34 % übereinstimmen; Kappa entfernt diesen Anteil.
• Nominale Kategorien gewichten. Gewichtetes Kappa setzt eine Reihenfolge voraus. Bei Kategorien ohne Reihenfolge verwenden Sie den ungewichteten Wert.
• Die Tabelle verwechseln. Zeilen müssen einen Rater darstellen und Spalten den anderen, mit den Kategorien in derselben Reihenfolge auf beiden Seiten, damit die Übereinstimmungen auf der Diagonalen liegen.
• κ = 0 testen und dabei stehen bleiben. Ein signifikantes z sagt nur, dass die Übereinstimmung den Zufall übertrifft; ein schwaches Kappa kann bei einer großen Stichprobe hochsignifikant sein.

Häufig gestellte Fragen

Was ist ein guter Wert für Cohens Kappa?

Nach den Richtwerten von Landis und Koch (1977) ist 0,41–0,60 mäßig, 0,61–0,80 substanziell und über 0,80 nahezu perfekt. Was akzeptabel ist, hängt vom Einsatz ab: Bewertungen, die in Entscheidungen über Einzelpersonen einfließen, etwa Diagnosen, brauchen weit höhere Übereinstimmung als explorative Kodierungen. Da die Richtwerte Konventionen sind, geben Sie Kappa mit seinem Konfidenzintervall an und vergleichen Sie es mit dem, was ähnliche Studien in Ihrem Fach berichten.

Was ist der Unterschied zwischen Cohens Kappa und prozentualer Übereinstimmung?

Die prozentuale Übereinstimmung ist schlicht pₒ, der Anteil der Subjekte, die die Rater gleich eingeordnet haben. Kappa zieht die zufällig erwartete Übereinstimmung ab und skaliert das Ergebnis neu, sodass 0 eine Übereinstimmung auf Zufallsniveau bedeutet und 1 perfekte Übereinstimmung. Zwei Rater, die beide 90 % der Fälle als „normal“ einstufen, werden oft allein durch Zufall übereinstimmen; die prozentuale Übereinstimmung belohnt das, Kappa nicht.

Wann sollte ich gewichtetes Kappa verwenden, und welche Gewichte?

Verwenden Sie gewichtetes Kappa, wenn die Kategorien geordnet sind, sodass die Verwechslung von Niedrig mit Mittel ein kleinerer Fehler ist als die von Niedrig mit Hoch. Lineare Gewichte bestrafen Abweichungen proportional zum Abstand zwischen den Kategorien; quadratische Gewichte bestrafen weit entfernte Abweichungen stärker und ergeben Werte nahe an einer Intraklassenkorrelation. Geben Sie an, welche Gewichte Sie verwendet haben, da sie das Ergebnis verändern.

Warum ist Kappa niedrig, obwohl die Rater meistens übereinstimmen?

Weil die zufällige Übereinstimmung hoch ist, wenn eine Kategorie dominiert. Wenn beide Rater 95 % der Fälle als negativ einstufen, werden sie sich bei den meisten Fällen einig sein, selbst wenn sie zufällig bewerten; pₑ ist dann groß und der Spielraum darüber klein. Das ist das Kappa-Paradoxon. Geben Sie pₒ und pₑ zusammen mit κ und dem maximal erreichbaren Kappa des Rechners an, damit Leser den Einfluss der Randsummen sehen.

Kann ich Cohens Kappa mit mehr als zwei Ratern verwenden?

Nein — Cohens Kappa vergleicht genau zwei Rater. Wenn jedes Subjekt von derselben Anzahl Rater bewertet wird, verwenden Sie Fleiss' Kappa. Manche Studien mit einem festen Raterpanel mitteln stattdessen das Cohens Kappa jedes Raterpaars (Lights Kappa).