Worin unterscheidet sich Fleiss' Kappa von Cohens Kappa?

Cohens Kappa misst die Übereinstimmung zwischen genau zwei Beurteilern und schätzt die Zufallsübereinstimmung anhand der Kategorieanteile jedes einzelnen Beurteilers. Fleiss' Kappa verarbeitet beliebig viele Beurteiler und fasst alle Bewertungen zusammen, um den Zufall zu schätzen. Bei zwei Beurteilern reduziert sich Fleiss' Kappa auf Scotts Pi statt auf Cohens Kappa, daher können beide leicht voneinander abweichen.

Müssen dieselben Beurteiler alle Fälle bewerten?

Nein. Fleiss' Kappa verlangt nur, dass jeder Fall dieselbe Anzahl an Bewertungen erhält; verschiedene Personen dürfen sie liefern. Das passt zu Designs, bei denen etwa drei von zwanzig Gutachtern jedes Dokument kodieren. Bewertet ein fester Panel alles, funktioniert Fleiss' Kappa ebenfalls, wobei manche Forschende es vorziehen, Cohens Kappa über alle Beurteilerpaare zu mitteln.

Welcher Fleiss-Kappa-Wert ist gut?

Nach den Benchmarks von Landis und Koch (1977) gelten 0,41–0,60 als mittel, 0,61–0,80 als substanziell und 0,81–1,00 als nahezu perfekte Übereinstimmung. Diese Bezeichnungen sind Konventionen, keine Tests, und was akzeptabel ist, hängt davon ab, wofür die Bewertungen verwendet werden. Berichten Sie den Wert mit seinem Kontext – Fälle, Beurteiler, Kategorien – statt nur das Etikett.

Warum gibt der Rechner kein Konfidenzintervall für Fleiss' Kappa aus?

Der Standardfehler von Fleiss, Nee und Landis (1979) setzt κ = 0 voraus. Er ist daher richtig, um zu prüfen, ob die Übereinstimmung den Zufall übertrifft, aber zu klein oder zu groß, um ein Intervall um ein von null verschiedenes Kappa zu bilden. Ein Bootstrap über die Fälle – Zeilen neu ziehen, κ neu berechnen, das 2,5. und 97,5. Perzentil nehmen – liefert ein belastbares Intervall.

Kann ich Fleiss' Kappa für ordinale Bewertungen verwenden?

Sie können es, aber es ignoriert die Reihenfolge: Eine Bewertung mit 1 statt 2 zählt als dieselbe Abweichung wie eine mit 1 statt 5. Für geordnete Skalen nutzt eine Intraklassen-Korrelation oder Krippendorffs Alpha mit einer ordinalen Metrik diese Information.

Was tun, wenn einige Fälle fehlende Bewertungen haben?

Fleiss' Kappa verlangt dieselbe Anzahl an Bewertungen je Fall. Im Format der Rohbewertungen behält der Rechner die Fälle mit der häufigsten Anzahl an Bewertungen und teilt Ihnen mit, wie viele er weggelassen hat. Sind viele Fälle unvollständig, ist Krippendorffs Alpha für fehlende Bewertungen gedacht.

Fleiss-Kappa-Rechner

Messen Sie die Übereinstimmung von drei oder mehr Beurteilern, die Fälle in Kategorien einordnen. Fügen Sie eine Tabelle Fälle × Kategorien mit Anzahlen ein – oder Rohbewertungen, eine Zeile je Fall – und erhalten Sie Fleiss' Kappa, die beobachtete und die zufällige Übereinstimmung, einen z-Test und ein Kappa für jede Kategorie, mit dem Rechenweg. Kostenlos, ohne Anmeldung; alles läuft vollständig in Ihrem Browser.

Ihre Daten

Anzahl je KategorieEine Bewertung pro Zelle

Anzahlen – eine Zeile je Fall, eine Spalte je Kategorie

Jede Zelle gibt an, wie viele Beurteiler einen Fall in diese Kategorie eingeordnet haben, sodass jede Zeile die Anzahl der Beurteiler ergibt. Fallnamen in der ersten Spalte und Kategorienamen in einer Kopfzeile sind optional.

Kopfzeile

Fügen Sie eine Tabelle mit Anzahlen oder je eine Zeile Bewertungen pro Fall ein, um Fleiss' Kappa zu sehen.

So verwenden Sie den Fleiss-Kappa-Rechner

1. Wählen Sie ein Datenformat. Anzahl je Kategorie nimmt eine Zeile je Fall und eine Spalte je Kategorie; jede Zelle gibt an, wie viele Beurteiler diese Kategorie gewählt haben. Eine Bewertung pro Zelle nimmt die Rohdaten – eine Zeile je Fall, eine Spalte je Beurteiler – und zählt sie für Sie aus.
2. Fügen Sie die Daten ein. Kopieren Sie direkt aus einer Tabellenkalkulation. Fallnamen in der ersten Spalte und Kategorienamen in einer Kopfzeile sind optional. In der Anzahltabelle muss jede Zeile dieselbe Anzahl an Beurteilern ergeben; Zeilen, die das nicht tun, werden markiert.
3. Prüfen Sie die Tabelle. Der Rechner zeigt die Anzahlen, die er verwendet, mit der Summe jedes Falls in der Spalte n, bevor er ein Ergebnis angibt.
4. Lesen Sie die Ergebnisse. Sie erhalten Fleiss' κ, die mittlere beobachtete Übereinstimmung P̄, die zufällige Übereinstimmung P̄ₑ, einen z-Test für κ = 0 und ein κ für jede Kategorie. Kopieren Sie die APA-Zeile für Ihre Arbeit.

Die Formel von Fleiss' Kappa

Fleiss (1971) erweiterte Kappa auf beliebig viele Beurteiler. Angenommen, N Fälle werden jeweils von n Beurteilern in k Kategorien eingeordnet, und nᵢⱼ Beurteiler ordnen Fall i in Kategorie j ein. Die Übereinstimmung innerhalb eines Falls ist der Anteil der Beurteilerpaare, die übereinstimmen:

Formeln

Pᵢ = (Σⱼ nᵢⱼ² − n) / (n(n − 1))

P̄ = (1/N) Σᵢ Pᵢ P̄ₑ = Σⱼ pⱼ² κ = (P̄ − P̄ₑ) / (1 − P̄ₑ)

P̄ – die mittlere Übereinstimmung über alle Fälle.
pⱼ – der Anteil aller N × n Bewertungen, der auf Kategorie j entfiel.
P̄ₑ – die Übereinstimmung, die zu erwarten wäre, wenn die Beurteiler Kategorien zufällig im Verhältnis dieser Gesamtanteile wählten.
κ – Übereinstimmung über den Zufall hinaus, skaliert so, dass 1 vollkommene und 0 Zufallsübereinstimmung bedeutet.

Der Rechner gibt außerdem κⱼ für jede Kategorie aus, die diese Kategorie gegen alle übrigen zusammen behandelt, und einen z-Test von κ = 0 mit dem Standardfehler von Fleiss, Nee und Landis (1979). Dieser Standardfehler ist unter der Nullhypothese hergeleitet, daher gilt er für den Test, nicht für ein Konfidenzintervall. Für ein Intervall bootstrappen Sie die Fälle.

Durchgerechnetes Beispiel: vier Beurteiler, zehn Beiträge

Vier Beurteiler ordneten zehn Social-Media-Beiträge als Positiv, Neutral oder Negativ ein. Drücken Sie Beispiel laden, um die Anzahlen einzugeben:

Beitrag	Positiv	Neutral	Negativ	Pᵢ
1	4	0	0	1,000
2	3	1	0	0,500
3	0	4	0	1,000
4	0	3	1	0,500
5	1	1	2	0,167
6	0	0	4	1,000
7	2	2	0	0,333
8	0	1	3	0,500
9	4	0	0	1,000
10	0	4	0	1,000

Für Beitrag 2 ist Pᵢ = (3² + 1² + 0² − 4) / (4 × 3) = 6 / 12 = 0,500. Die zehn Werte ergeben im Mittel P̄ = 0,700. Die 40 Bewertungen verteilen sich auf 14 Positiv, 16 Neutral und 10 Negativ, also pⱼ = 0,35, 0,40 und 0,25, und P̄ₑ = 0,35² + 0,40² + 0,25² = 0,345. Dann ist κ = (0,700 − 0,345) / (1 − 0,345) = 0,542, nach den Benchmarks von Landis und Koch eine mittlere Übereinstimmung. Mit SE₀ = 0,0922 ist z = 5,88 und p < ,001.

Die Kategorie-Kappas zeigen, wo die Beurteiler uneins sind: Positiv κ = 0,634, Negativ κ = 0,556 und Neutral κ = 0,444. Neutral ist die Kategorie, die die Beurteiler am schwersten konsistent anwenden – ein Hinweis, die Definition im Codebuch zu schärfen, bevor Sie die volle Stichprobe kodieren.

Fleiss' Kappa interpretieren und berichten

Fleiss' Kappa wird meist anhand der Benchmarks von Landis und Koch (1977) gelesen: 0,21–0,40 mäßig, 0,41–0,60 mittel, 0,61–0,80 substanziell und über 0,80 nahezu perfekt. Wie bei Cohens Kappa sind die Grenzen Konventionen, und Kappa sinkt, wenn eine Kategorie die Bewertungen dominiert, selbst bei hoher Übereinstimmung. Berichten Sie κ zusammen mit der Anzahl der Fälle, Beurteiler und Kategorien sowie den Kategorie-Kappas, wenn sie voneinander abweichen.

Im APA-Stil: „Die Übereinstimmung der vier Beurteiler war mittel, Fleiss' κ = ,54, z = 5,88, p < ,001 (10 Fälle, je 4 Beurteiler).“ Kappa kann nicht über 1 liegen, daher entfällt die führende Null.

Annahmen und häufige Fehler

Ungleiche Anzahl an Bewertungen. Jeder Fall braucht dieselbe Anzahl an Beurteilern. Fälle mit fehlenden Bewertungen müssen weggelassen werden, oder Sie verwenden Krippendorffs Alpha, das fehlende Werte erlaubt.
Ordinale Kategorien. Fleiss' Kappa behandelt Kategorien als ungeordnet, daher zählt ein knapper Fehlgriff genauso wie ein weiter. Für geordnete Bewertungen ziehen Sie eine Intraklassen-Korrelation in Betracht.
Zeilen, die sich nicht zu n summieren. Im Anzahlformat gibt eine Zeile an, wie viele Beurteiler jede Kategorie gewählt haben, nicht welche; daher muss jede Zeile n ergeben.
Den z-Test als Maß der Stärke lesen. Ein winziger p-Wert sagt nur, dass die Übereinstimmung den Zufall übertrifft; die Größe von κ sagt, wie gut die Beurteiler übereinstimmen.
Mit zwei Beurteilern Cohens Kappa erwarten. Bei zwei Beurteilern entspricht Fleiss' Kappa Scotts Pi, das sich leicht von Cohens Kappa unterscheiden kann.

Häufig gestellte Fragen

Worin unterscheidet sich Fleiss' Kappa von Cohens Kappa?: Cohens Kappa misst die Übereinstimmung zwischen genau zwei Beurteilern und schätzt die Zufallsübereinstimmung anhand der Kategorieanteile jedes einzelnen Beurteilers. Fleiss' Kappa verarbeitet beliebig viele Beurteiler und fasst alle Bewertungen zusammen, um den Zufall zu schätzen. Bei zwei Beurteilern reduziert sich Fleiss' Kappa auf Scotts Pi statt auf Cohens Kappa, daher können beide leicht voneinander abweichen.
Müssen dieselben Beurteiler alle Fälle bewerten?: Nein. Fleiss' Kappa verlangt nur, dass jeder Fall dieselbe Anzahl an Bewertungen erhält; verschiedene Personen dürfen sie liefern. Das passt zu Designs, bei denen etwa drei von zwanzig Gutachtern jedes Dokument kodieren. Bewertet ein fester Panel alles, funktioniert Fleiss' Kappa ebenfalls, wobei manche Forschende es vorziehen, Cohens Kappa über alle Beurteilerpaare zu mitteln.
Welcher Fleiss-Kappa-Wert ist gut?: Nach den Benchmarks von Landis und Koch (1977) gelten 0,41–0,60 als mittel, 0,61–0,80 als substanziell und 0,81–1,00 als nahezu perfekte Übereinstimmung. Diese Bezeichnungen sind Konventionen, keine Tests, und was akzeptabel ist, hängt davon ab, wofür die Bewertungen verwendet werden. Berichten Sie den Wert mit seinem Kontext – Fälle, Beurteiler, Kategorien – statt nur das Etikett.
Warum gibt der Rechner kein Konfidenzintervall für Fleiss' Kappa aus?: Der Standardfehler von Fleiss, Nee und Landis (1979) setzt κ = 0 voraus. Er ist daher richtig, um zu prüfen, ob die Übereinstimmung den Zufall übertrifft, aber zu klein oder zu groß, um ein Intervall um ein von null verschiedenes Kappa zu bilden. Ein Bootstrap über die Fälle – Zeilen neu ziehen, κ neu berechnen, das 2,5. und 97,5. Perzentil nehmen – liefert ein belastbares Intervall.
Kann ich Fleiss' Kappa für ordinale Bewertungen verwenden?: Sie können es, aber es ignoriert die Reihenfolge: Eine Bewertung mit 1 statt 2 zählt als dieselbe Abweichung wie eine mit 1 statt 5. Für geordnete Skalen nutzt eine Intraklassen-Korrelation oder Krippendorffs Alpha mit einer ordinalen Metrik diese Information.
Was tun, wenn einige Fälle fehlende Bewertungen haben?: Fleiss' Kappa verlangt dieselbe Anzahl an Bewertungen je Fall. Im Format der Rohbewertungen behält der Rechner die Fälle mit der häufigsten Anzahl an Bewertungen und teilt Ihnen mit, wie viele er weggelassen hat. Sind viele Fälle unvollständig, ist Krippendorffs Alpha für fehlende Bewertungen gedacht.