Calcolatore del kappa di Fleiss
Misura l'accordo tra tre o più valutatori che classificano soggetti in categorie. Incolla una tabella soggetti × categorie di conteggi — oppure valutazioni grezze, una riga per soggetto — e ottieni il kappa di Fleiss, l'accordo osservato e quello atteso per caso, un test z e un kappa per ogni categoria, con il procedimento in vista. Gratuito, senza registrazione, e funziona interamente nel tuo browser.
Ogni cella indica quanti valutatori hanno messo quel soggetto in quella categoria, quindi ogni riga somma al numero di valutatori. I nomi dei soggetti nella prima colonna e i nomi delle categorie in una riga di intestazione sono facoltativi.
Incolla una tabella di conteggi, o una riga di valutazioni per soggetto, per vedere il kappa di Fleiss.
Come usare il calcolatore del kappa di Fleiss
- 1. Scegli un formato dei dati. Conteggi per categoria prende una riga per soggetto e una colonna per categoria, con ogni cella che indica quanti valutatori hanno scelto quella categoria. Una valutazione per cella prende i dati grezzi — una riga per soggetto, una colonna per valutatore — e li conta per te.
- 2. Incolla i dati. Copia direttamente da un foglio di calcolo. I nomi dei soggetti nella prima colonna e i nomi delle categorie in una riga di intestazione sono facoltativi. Nella tabella dei conteggi ogni riga deve sommare allo stesso numero di valutatori; quelle che non lo fanno vengono evidenziate.
- 3. Controlla la tabella. Il calcolatore mostra i conteggi che userà, con il totale di ogni soggetto nella colonna n, prima di dare qualsiasi risultato.
- 4. Leggi i risultati. Ottieni il κ di Fleiss, l'accordo osservato medio P̄, l'accordo atteso per caso P̄ₑ, un test z di κ = 0 e un κ per ogni categoria. Copia la riga in stile APA per il tuo testo.
La formula del kappa di Fleiss
Fleiss (1971) estese il kappa a un numero qualsiasi di valutatori. Supponi che N soggetti siano valutati ciascuno da n valutatori in k categorie, e che nᵢⱼ valutatori mettano il soggetto i nella categoria j. L'accordo all'interno di un singolo soggetto è la quota di coppie di valutatori che concordano:
Formule
Pᵢ = (Σⱼ nᵢⱼ² − n) / (n(n − 1))
P̄ = (1/N) Σᵢ Pᵢ P̄ₑ = Σⱼ pⱼ² κ = (P̄ − P̄ₑ) / (1 − P̄ₑ)
- P̄ — l'accordo medio tra i soggetti.
- pⱼ — la quota di tutte le N × n valutazioni caduta nella categoria j.
- P̄ₑ — l'accordo atteso se i valutatori scegliessero le categorie a caso, secondo quelle proporzioni complessive.
- κ — accordo oltre il caso, scalato in modo che 1 sia l'accordo perfetto e 0 il livello del caso.
Il calcolatore dà anche κⱼ per ogni categoria, che confronta quella categoria con tutte le altre combinate, e un test z di κ = 0 usando l'errore standard di Fleiss, Nee e Landis (1979). Quell'errore standard è derivato sotto l'ipotesi nulla, quindi è valido per il test ma non per un intervallo di confidenza. Per un intervallo, fai il bootstrap sui soggetti.
Esempio svolto: quattro codificatori, dieci post
Quattro codificatori hanno classificato dieci post sui social come Positivo, Neutro o Negativo. Premi Carica l'esempio per inserire i conteggi:
| Post | Positivo | Neutro | Negativo | Pᵢ |
|---|---|---|---|---|
| 1 | 4 | 0 | 0 | 1,000 |
| 2 | 3 | 1 | 0 | 0,500 |
| 3 | 0 | 4 | 0 | 1,000 |
| 4 | 0 | 3 | 1 | 0,500 |
| 5 | 1 | 1 | 2 | 0,167 |
| 6 | 0 | 0 | 4 | 1,000 |
| 7 | 2 | 2 | 0 | 0,333 |
| 8 | 0 | 1 | 3 | 0,500 |
| 9 | 4 | 0 | 0 | 1,000 |
| 10 | 0 | 4 | 0 | 1,000 |
Per il post 2, Pᵢ = (3² + 1² + 0² − 4) / (4 × 3) = 6 / 12 = 0,500. I dieci valori hanno una media di P̄ = 0,700. Le 40 valutazioni si dividono in 14 positive, 16 neutre e 10 negative, quindi pⱼ = 0,35, 0,40 e 0,25, e P̄ₑ = 0,35² + 0,40² + 0,25² = 0,345. Poi κ = (0,700 − 0,345) / (1 − 0,345) = 0,542, accordo moderato secondo i parametri di Landis e Koch. Con SE₀ = 0,0922, z = 5,88 e p < ,001.
I kappa per categoria mostrano dove i codificatori non concordano: κ per positivo = 0,634, κ per negativo = 0,556 e κ per neutro = 0,444. Neutro è la categoria che i codificatori applicano con meno coerenza: un segnale per precisarne la definizione nel codebook prima di codificare l'intero campione.
Interpretare e riportare il kappa di Fleiss
Il kappa di Fleiss si legge di solito con i parametri di Landis e Koch (1977): 0,21–0,40 discreto, 0,41–0,60 moderato, 0,61–0,80 sostanziale e sopra 0,80 quasi perfetto. Come per il kappa di Cohen, le soglie sono convenzioni, e il kappa scende quando una categoria domina le valutazioni, anche se l'accordo è alto. Riporta κ con il numero di soggetti, valutatori e categorie, e i kappa per categoria quando differiscono.
In stile APA: «L'accordo tra i quattro codificatori è stato moderato, κ di Fleiss = ,54, z = 5,88, p < ,001 (10 soggetti, 4 valutatori ciascuno).» Il kappa non può superare 1, quindi lo zero iniziale si omette.
Presupposti ed errori comuni
- Numeri diversi di valutazioni. Ogni soggetto deve avere lo stesso numero di valutatori. I soggetti con valutazioni mancanti vanno esclusi, oppure usa l'alfa di Krippendorff, che le ammette.
- Categorie ordinate. Il kappa di Fleiss tratta le categorie come non ordinate, quindi un errore di poco conta quanto uno grave. Per valutazioni ordinate, considera una correlazione intraclasse.
- Righe che non sommano. Nel formato dei conteggi una riga indica quanti valutatori hanno scelto ciascuna categoria, non quali, quindi ogni riga deve totalizzare n.
- Leggere il test z come misura della forza. Un p-value piccolo dice soltanto che l'accordo supera il caso; l'entità di κ dice quanto bene concordano i valutatori.
- Aspettarsi il kappa di Cohen con due valutatori. Con due valutatori, il kappa di Fleiss equivale al pi di Scott, che può differire leggermente dal kappa di Cohen.
Domande frequenti
- Qual è la differenza tra kappa di Fleiss e kappa di Cohen?
- Il kappa di Cohen misura l'accordo tra esattamente due valutatori e usa le proporzioni di categoria di ciascun valutatore per stimare l'accordo per caso. Il kappa di Fleiss gestisce un numero qualsiasi di valutatori e raccoglie tutte le valutazioni per stimare il caso. Con due valutatori, il kappa di Fleiss si riduce al pi di Scott e non al kappa di Cohen, quindi i due possono differire leggermente.
- I valutatori devono essere sempre gli stessi per ogni soggetto?
- No. Il kappa di Fleiss richiede solo che ogni soggetto riceva lo stesso numero di valutazioni; a fornirle possono essere persone diverse. Questo si adatta a disegni in cui, per esempio, tre valutatori su venti codificano ciascun documento. Se un unico gruppo fisso valuta tutto, il kappa di Fleiss funziona ancora, anche se alcuni ricercatori preferiscono fare la media dei kappa di Cohen su tutte le coppie di valutatori.
- Qual è un buon valore del kappa di Fleiss?
- Secondo i parametri di Landis e Koch (1977), 0,41–0,60 è accordo moderato, 0,61–0,80 sostanziale e 0,81–1,00 quasi perfetto. Queste etichette sono convenzioni, non test, e ciò che è accettabile dipende da come verranno usate le valutazioni. Riporta il valore con il suo contesto — soggetti, valutatori, categorie — e non solo l'etichetta.
- Perché il calcolatore non dà un intervallo di confidenza per il kappa di Fleiss?
- L'errore standard derivato da Fleiss, Nee e Landis (1979) presuppone κ = 0, quindi è corretto per verificare se l'accordo supera il caso, ma è troppo piccolo o troppo grande per costruire un intervallo attorno a un kappa diverso da zero. Un bootstrap sui soggetti — ricampiona le righe, ricalcola κ, prendi il 2,5° e il 97,5° percentile — dà un intervallo difendibile.
- Posso usare il kappa di Fleiss per valutazioni ordinali?
- Puoi, ma ignora l'ordine: valutare un soggetto 1 invece di 2 conta come lo stesso disaccordo che valutarlo 1 invece di 5. Per scale ordinate, una correlazione intraclasse o l'alfa di Krippendorff con una metrica ordinale usa questa informazione.
- Che cosa devo fare se alcuni soggetti hanno valutazioni mancanti?
- Il kappa di Fleiss richiede lo stesso numero di valutazioni per ogni soggetto. Nel formato delle valutazioni grezze, il calcolatore tiene i soggetti con il numero più comune di valutazioni e ti dice quanti ne ha esclusi. Se molti soggetti sono incompleti, l'alfa di Krippendorff è pensato per le valutazioni mancanti.