Calculadora del kappa de Cohen

Cómo usar la calculadora del kappa de Cohen

1. 1. Elige el formato de tus datos. Usa Tabla de concordancia si ya tienes recuentos: las categorías del evaluador A en la primera columna y las del evaluador B en la primera fila. Usa Dos columnas de calificaciones si tienes una fila por sujeto con la etiqueta de cada evaluador.
2. 2. Pega los datos. Cópialos directamente de una hoja de cálculo o escríbelos con tabuladores, comas o espacios. Los nombres de categoría en una fila de encabezado son opcionales. La calculadora muestra la tabla de concordancia que ha construido, con los totales de fila y de columna, para que puedas comprobarla.
3. 3. Establece el orden de las categorías para calificaciones ordinales. El kappa ponderado trata las categorías como ordenadas de menor a mayor. Los códigos numéricos se ordenan solos; para palabras como Suspenso, Aprobado y Sobresaliente, escribe el orden en la casilla.
4. 4. Lee el kappa y su intervalo. Obtienes κ, su intervalo de confianza del 95 %, la concordancia observada y la concordancia por azar, y una prueba z de κ = 0. Con tres o más categorías, una tabla añade el kappa ponderado lineal y cuadrático. Copia la línea en estilo APA cuando termines.

La fórmula del kappa de Cohen

El kappa compara la concordancia que los evaluadores alcanzan de hecho con la que dos evaluadores obtendrían por azar si asignaran las categorías de forma independiente según sus propias proporciones observadas:

• pₒ — concordancia observada: la proporción de sujetos que ambos evaluadores colocan en la misma categoría (la diagonal de la tabla dividida entre n).
• pₑ — concordancia por azar: Σ (total de fila × total de columna) / n², la concordancia esperada si cada evaluador mantuviera sus propias proporciones de categoría pero eligiera de forma independiente.
• κ = 1 indica concordancia perfecta, κ = 0 indica una concordancia no mejor que la del azar, y los valores negativos indican menos concordancia que la del azar.

El kappa ponderado concede crédito parcial a los casi aciertos en una escala ordenada: κw = (pₒ(w) − pₑ(w)) / (1 − pₑ(w)), donde cada celda se multiplica por un peso de concordancia. Los pesos lineales (Cicchetti–Allison) son w = 1 − |i − j| / (k − 1); los pesos cuadráticos (Fleiss–Cohen) son w = 1 − (i − j)² / (k − 1)². Con pesos cuadráticos, el kappa está estrechamente relacionado con la correlación intraclase.

El intervalo de confianza del 95 % es κ ± 1,96 × EE, usando el error estándar de muestra grande de Fleiss, Cohen y Everitt (1969); la prueba z de κ = 0 usa un segundo error estándar calculado bajo esa hipótesis nula. Ambos son asintóticos, así que tómalos como aproximados en muestras pequeñas. Son las fórmulas que usa SAS PROC FREQ, y la calculadora reproduce sus ejemplos documentados con cuatro decimales.

Ejemplo desarrollado: dos docentes que califican 50 ensayos

Dos docentes calificaron los mismos 50 ensayos como Bajo, Medio o Alto. Pulsa Cargar ejemplo en el modo de tabla para introducir sus recuentos:

Los docentes coinciden en 14 + 13 + 11 = 38 ensayos, así que pₒ = 38 / 50 = 0,76. La concordancia por azar es pₑ = (18 × 16 + 19 × 18 + 13 × 16) / 50² = 838 / 2 500 = 0,3352. Entonces κ = (0,76 − 0,3352) / (1 − 0,3352) = 0,639, con EE = 0,091, IC del 95 % [0,461; 0,817] y z = 6,41, p < ,001. Con estos marginales, el kappa máximo posible es 0,910, así que el límite no es lo que hace bajar el kappa aquí: lo hacen los 12 desacuerdos.

Los kappa ponderados son más altos porque 11 de los 12 desacuerdos están a solo una categoría de distancia. Como Bajo, Medio y Alto están ordenadas, aquí un kappa ponderado es un resumen justo; para categorías sin orden, como los diagnósticos, solo tiene sentido el valor sin ponderar.

Cómo interpretar y citar el kappa

Landis y Koch describieron sus divisiones como arbitrarias, y otros autores usan otras más estrictas, así que informa del valor y de su intervalo, no solo de la etiqueta. El kappa también depende de los marginales. Cuando una categoría es muy frecuente, la concordancia por azar es alta y el kappa puede ser bajo aunque los evaluadores coincidan en la mayoría de los sujetos: la «paradoja del kappa» descrita por Feinstein y Cicchetti (1990). Informar de pₒ, pₑ y del kappa máximo alcanzable junto a κ ayuda al lector a ver por qué.

Un informe en estilo APA del ejemplo: «La concordancia entre los dos docentes fue sustancial, κ de Cohen = ,64, IC del 95 % [,46; ,82], z = 6,41, p < ,001 (n = 50).» El kappa no puede superar 1, así que el estilo APA omite el cero inicial.

Errores comunes

• Presentar el porcentaje de concordancia como fiabilidad. Un 76 % de acuerdo suena sólido, pero dos docentes que califican de forma independiente según sus propias proporciones coincidirían en unos 34 % de estos ensayos por azar; el kappa elimina esa parte.
• Ponderar categorías nominales. El kappa ponderado supone un orden. Para categorías sin orden, usa el valor sin ponderar.
• Confundir la tabla. Las filas deben corresponder a un evaluador y las columnas al otro, con las categorías en el mismo orden en ambos lados, para que las concordancias caigan en la diagonal.
• Probar κ = 0 y detenerse ahí. Una z significativa solo indica que la concordancia supera al azar; un kappa débil puede ser muy significativo con una muestra grande.

Preguntas frecuentes

¿Qué valor de kappa de Cohen es bueno?

Según los umbrales de Landis y Koch (1977), 0,41–0,60 es moderado, 0,61–0,80 sustancial y por encima de 0,80 casi perfecto. Lo que resulta aceptable depende de lo que esté en juego: las calificaciones que alimentan decisiones sobre personas, como los diagnósticos, necesitan una concordancia mucho mayor que la codificación exploratoria. Como los umbrales son convenciones, informa del kappa con su intervalo de confianza y compáralo con lo que reportan estudios similares en tu campo.

¿Cuál es la diferencia entre el kappa de Cohen y el porcentaje de acuerdo?

El porcentaje de acuerdo es simplemente pₒ, la proporción de sujetos que los evaluadores clasificaron igual. El kappa resta la concordancia esperada por azar y reescala el resultado, de modo que 0 significa una concordancia al nivel del azar y 1 una concordancia perfecta. Dos evaluadores que etiquetan ambos el 90 % de los casos como «normal» coincidirán a menudo solo por azar; el porcentaje de acuerdo lo premia y el kappa no.

¿Cuándo debo usar el kappa ponderado, y con qué pesos?

Usa el kappa ponderado cuando las categorías están ordenadas, de modo que confundir Bajo con Medio es un error menor que confundir Bajo con Alto. Los pesos lineales penalizan el desacuerdo en proporción a la distancia entre categorías; los cuadráticos penalizan más los desacuerdos distantes y dan valores cercanos a una correlación intraclase. Indica qué pesos has usado, porque cambian el resultado.

¿Por qué el kappa es bajo si los evaluadores coinciden la mayor parte del tiempo?

Porque la concordancia por azar es alta cuando domina una categoría. Si ambos evaluadores califican el 95 % de los casos como negativos, coincidirán en la mayoría aunque califiquen al azar, así que pₑ es grande y el margen por encima de él es pequeño. Esta es la paradoja del kappa; informa de pₒ y pₑ junto a κ, y del kappa máximo alcanzable que muestra la calculadora, para que el lector vea el efecto de los marginales.

¿Puedo usar el kappa de Cohen con más de dos evaluadores?

No: el kappa de Cohen compara exactamente dos evaluadores. Cuando cada sujeto es calificado por el mismo número de evaluadores, usa el kappa de Fleiss. Algunos estudios con un panel fijo de evaluadores promedian en su lugar el kappa de Cohen de cada par de evaluadores (kappa de Light).