Calcolatore del kappa di Cohen

Come usare il calcolatore del kappa di Cohen

1. 1. Scegli il formato dei dati. Usa Tabella di accordo se hai già i conteggi — le categorie del valutatore A in verticale, quelle del valutatore B in orizzontale. Usa Due colonne di valutazioni se hai una riga per soggetto con l'etichetta di ciascun valutatore.
2. 2. Incolla i dati. Copiali direttamente da un foglio di calcolo o digitali con tabulazioni, virgole o spazi. I nomi delle categorie in una riga di intestazione sono facoltativi. Il calcolatore mostra la tabella di accordo che ha costruito, con i totali di riga e di colonna, così puoi controllarla.
3. 3. Imposta l'ordine delle categorie per le valutazioni ordinali. Il kappa ponderato tratta le categorie come ordinate dal più basso al più alto. I codici numerici si ordinano automaticamente; per parole come Insufficiente, Sufficiente e Buono, scrivi l'ordine nella casella.
4. 4. Leggi il kappa e il suo intervallo. Ottieni κ, il suo intervallo di confidenza al 95%, l'accordo osservato e quello casuale, e un test z di κ = 0. Con tre o più categorie, una tabella aggiunge il kappa ponderato lineare e quadratico. Copia la riga in stile APA quando hai finito.

La formula del kappa di Cohen

Il kappa confronta l'accordo che i valutatori hanno effettivamente raggiunto con quello che otterrebbero per caso se assegnassero le categorie in modo indipendente secondo le proprie frequenze osservate:

• pₒ — accordo osservato: la quota di soggetti che entrambi i valutatori mettono nella stessa categoria (la diagonale della tabella divisa per n).
• pₑ — accordo casuale: Σ (totale di riga × totale di colonna) / n², l'accordo atteso se ciascun valutatore mantenesse le proprie proporzioni di categoria ma scegliesse in modo indipendente.
• κ = 1 significa accordo perfetto, κ = 0 un accordo non migliore del caso, e i valori negativi indicano un accordo inferiore a quello casuale.

Il kappa ponderato dà un credito parziale per le quasi-coincidenze su una scala ordinata: κw = (pₒ(w) − pₑ(w)) / (1 − pₑ(w)), dove ogni cella è moltiplicata per un peso di accordo. I pesi lineari (Cicchetti–Allison) sono w = 1 − |i − j| / (k − 1); quelli quadratici (Fleiss–Cohen) sono w = 1 − (i − j)² / (k − 1)². Con i pesi quadratici, il kappa è strettamente legato alla correlazione intraclasse.

L'intervallo di confidenza al 95% è κ ± 1,96 × SE, usando l'errore standard per grandi campioni di Fleiss, Cohen e Everitt (1969); il test z di κ = 0 usa un secondo errore standard calcolato sotto quell'ipotesi nulla. Entrambi sono asintotici, quindi trattali come approssimativi nei campioni piccoli. Sono le formule che usa SAS PROC FREQ, e il calcolatore riproduce i suoi esempi documentati fino alla quarta cifra decimale.

Esempio svolto: due insegnanti che valutano 50 saggi

Due insegnanti hanno valutato gli stessi 50 saggi come Basso, Medio o Alto. Premi Carica l'esempio in modalità tabella per inserire i loro conteggi:

Gli insegnanti concordano su 14 + 13 + 11 = 38 saggi, quindi pₒ = 38 / 50 = 0,76. L'accordo casuale è pₑ = (18 × 16 + 19 × 18 + 13 × 16) / 50² = 838 / 2.500 = 0,3352. Allora κ = (0,76 − 0,3352) / (1 − 0,3352) = 0,639, con SE = 0,091, IC al 95% [0,461; 0,817] e z = 6,41, p < 0,001. Con questi totali il kappa massimo possibile è 0,910, quindi il tetto non è ciò che abbassa il kappa qui — lo sono i 12 disaccordi.

I kappa ponderati sono più alti perché 11 dei 12 disaccordi distano di una sola categoria. Poiché Basso, Medio e Alto sono ordinate, un kappa ponderato è un riassunto equo qui; per categorie non ordinate, come le diagnosi, ha senso solo il valore non ponderato.

Come interpretare e riportare il kappa

Landis e Koch descrivevano le loro suddivisioni come arbitrarie, e altri autori ne usano di più severe, quindi riporta il numero e il suo intervallo anziché la sola etichetta. Il kappa dipende anche dai totali marginali. Quando una categoria è molto comune, l'accordo casuale è alto e il kappa può essere basso anche quando i valutatori concordano sulla maggior parte dei soggetti — il «paradosso del kappa» descritto da Feinstein e Cicchetti (1990). Riportare pₒ, pₑ e il kappa massimo raggiungibile accanto a κ aiuta il lettore a capire perché.

Un resoconto in stile APA dell'esempio: «L'accordo tra i due insegnanti è stato sostanziale, κ di Cohen = .64, IC al 95% [.46, .82], z = 6.41, p < .001 (n = 50).» κ non può superare 1, quindi lo stile APA omette lo zero iniziale.

Errori comuni

• Riportare l'accordo percentuale come affidabilità. Il 76% di accordo sembra forte, ma due insegnanti che valutano in modo indipendente secondo le proprie frequenze concorderebbero per caso su circa il 34% di questi saggi; il kappa elimina quella quota.
• Ponderare categorie nominali. Il kappa ponderato presuppone un ordine. Per categorie senza ordine, usa il valore non ponderato.
• Scambiare la tabella. Le righe devono essere un valutatore e le colonne l'altro, con le categorie nello stesso ordine su entrambi i lati, così che gli accordi cadano sulla diagonale.
• Verificare κ = 0 e fermarsi lì. Un z significativo dice solo che l'accordo supera il caso — un kappa debole può essere molto significativo in un campione grande.

Domande frequenti

Qual è un buon valore del kappa di Cohen?

Secondo i valori di riferimento di Landis e Koch (1977), 0,41–0,60 è moderato, 0,61–0,80 sostanziale e oltre 0,80 quasi perfetto. Ciò che è accettabile dipende dalle conseguenze: le valutazioni che alimentano decisioni su singole persone, come le diagnosi, richiedono un accordo molto più alto della codifica esplorativa. Poiché questi valori sono convenzioni, riporta il kappa con il suo intervallo di confidenza e confrontalo con quanto riportano studi simili nel tuo campo.

Qual è la differenza tra il kappa di Cohen e l'accordo percentuale?

L'accordo percentuale è semplicemente pₒ, la quota di soggetti che i valutatori hanno classificato allo stesso modo. Il kappa sottrae l'accordo atteso per caso e riscala il risultato, quindi 0 significa un accordo pari al caso e 1 un accordo perfetto. Due valutatori che etichettano entrambi il 90% dei casi come «normali» concorderanno spesso per puro caso: l'accordo percentuale lo premia, il kappa no.

Quando devo usare il kappa ponderato, e quali pesi?

Usa il kappa ponderato quando le categorie sono ordinate, così che confondere Basso con Medio è un errore minore che confondere Basso con Alto. I pesi lineari penalizzano il disaccordo in proporzione alla distanza tra categorie; i pesi quadratici penalizzano più pesantemente i disaccordi distanti e danno valori vicini a una correlazione intraclasse. Dichiara quali pesi hai usato, perché cambiano il risultato.

Perché il kappa è basso quando i valutatori concordano per la maggior parte del tempo?

Perché l'accordo casuale è alto quando una categoria domina. Se entrambi i valutatori chiamano il 95% dei casi negativi, concorderanno sulla maggior parte dei casi anche valutando a caso, quindi pₑ è grande e lo spazio sopra di esso è piccolo. È il paradosso del kappa; riporta pₒ e pₑ accanto a κ e il kappa massimo raggiungibile del calcolatore, così il lettore può vedere l'effetto dei totali marginali.

Posso usare il kappa di Cohen con più di due valutatori?

No — il kappa di Cohen confronta esattamente due valutatori. Quando ogni soggetto è valutato dallo stesso numero di valutatori, usa il kappa di Fleiss. Alcuni studi con un gruppo fisso di valutatori calcolano invece la media del kappa di Cohen di ogni coppia di valutatori (kappa di Light).