Calculadora del kappa de Fleiss
Mide la concordancia entre tres o más evaluadores que clasifican sujetos en categorías. Pega una tabla de sujetos × categorías con recuentos —o calificaciones sin procesar, una fila por sujeto— y obtén el kappa de Fleiss, la concordancia observada y la concordancia por azar, una prueba z y un kappa para cada categoría, con el cálculo a la vista. Gratis, sin registro, y funciona por completo en tu navegador.
Cada celda indica cuántos evaluadores pusieron ese sujeto en esa categoría, así que cada fila suma el número de evaluadores. Los nombres de sujeto en la primera columna y los de categoría en una fila de encabezado son opcionales.
Pega una tabla de recuentos, o una fila de calificaciones por sujeto, para ver el kappa de Fleiss.
Cómo usar la calculadora del kappa de Fleiss
- 1. Elige un formato de datos. Recuentos por categoría toma una fila por sujeto y una columna por categoría; cada celda indica cuántos evaluadores eligieron esa categoría. Una calificación por celda toma los datos sin procesar —una fila por sujeto, una columna por evaluador— y los cuenta por ti.
- 2. Pega los datos. Cópialos directamente de una hoja de cálculo. Los nombres de sujeto en la primera columna y los de categoría en una fila de encabezado son opcionales. En la tabla de recuentos, cada fila debe sumar el mismo número de evaluadores; las que no lo hagan quedan resaltadas.
- 3. Revisa la tabla. La calculadora muestra los recuentos que va a usar, con el total de cada sujeto en la columna n, antes de dar cualquier resultado.
- 4. Lee los resultados. Obtienes el kappa de Fleiss, la concordancia observada media P̄, la concordancia por azar P̄ₑ, una prueba z de κ = 0 y un kappa por categoría. Copia la línea en estilo APA para tu informe.
La fórmula del kappa de Fleiss
Fleiss (1971) extendió el kappa a cualquier número de evaluadores. Supón que N sujetos son calificados cada uno por n evaluadores en k categorías, y que nᵢⱼ evaluadores asignan el sujeto i a la categoría j. La concordancia dentro de un mismo sujeto es la proporción de pares de evaluadores que coinciden:
Fórmulas
Pᵢ = (Σⱼ nᵢⱼ² − n) / (n(n − 1))
P̄ = (1/N) Σᵢ Pᵢ P̄ₑ = Σⱼ pⱼ² κ = (P̄ − P̄ₑ) / (1 − P̄ₑ)
- P̄ — la concordancia media entre sujetos.
- pⱼ — la proporción de todas las N × n calificaciones que cayeron en la categoría j.
- P̄ₑ — la concordancia esperada si los evaluadores eligieran categorías al azar según esas proporciones globales.
- κ — la concordancia más allá del azar, escalada de modo que 1 es perfecta y 0 es el nivel del azar.
La calculadora también da κⱼ para cada categoría, que enfrenta esa categoría contra todas las demás combinadas, y una prueba z de κ = 0 con el error estándar de Fleiss, Nee y Landis (1979). Ese error estándar se deriva bajo la hipótesis nula, así que es válido para la prueba pero no para un intervalo de confianza. Para un intervalo, haz un bootstrap de los sujetos.
Ejemplo desarrollado: cuatro codificadores, diez publicaciones
Cuatro codificadores clasificaron diez publicaciones de redes sociales como positivas, neutrales o negativas. Pulsa Cargar ejemplo para introducir los recuentos:
| Publicación | Positiva | Neutral | Negativa | Pᵢ |
|---|---|---|---|---|
| 1 | 4 | 0 | 0 | 1,000 |
| 2 | 3 | 1 | 0 | 0,500 |
| 3 | 0 | 4 | 0 | 1,000 |
| 4 | 0 | 3 | 1 | 0,500 |
| 5 | 1 | 1 | 2 | 0,167 |
| 6 | 0 | 0 | 4 | 1,000 |
| 7 | 2 | 2 | 0 | 0,333 |
| 8 | 0 | 1 | 3 | 0,500 |
| 9 | 4 | 0 | 0 | 1,000 |
| 10 | 0 | 4 | 0 | 1,000 |
Para la publicación 2, Pᵢ = (3² + 1² + 0² − 4) / (4 × 3) = 6 / 12 = 0,500. Los diez valores promedian P̄ = 0,700. Las 40 calificaciones se reparten en 14 positivas, 16 neutrales y 10 negativas, así que pⱼ = 0,35, 0,40 y 0,25, y P̄ₑ = 0,35² + 0,40² + 0,25² = 0,345. Luego κ = (0,700 − 0,345) / (1 − 0,345) = 0,542, concordancia moderada según los criterios de Landis y Koch. Con EE₀ = 0,0922, z = 5,88 y p < 0,001.
Los kappa por categoría muestran dónde discrepan los codificadores: positiva κ = 0,634, negativa κ = 0,556 y neutral κ = 0,444. Neutral es la categoría que los codificadores aplican con menos consistencia: una señal para afinar su definición en el libro de códigos antes de codificar la muestra completa.
Interpretar y reportar el kappa de Fleiss
El kappa de Fleiss suele leerse con los criterios de Landis y Koch (1977): 0,21–0,40 aceptable, 0,41–0,60 moderada, 0,61–0,80 sustancial y por encima de 0,80 casi perfecta. Como con el kappa de Cohen, los puntos de corte son convenciones, y el kappa baja cuando una categoría domina las calificaciones aunque la concordancia sea alta. Informa κ junto con el número de sujetos, de evaluadores y de categorías, y los kappa por categoría cuando difieran.
En estilo APA: «La concordancia entre los cuatro codificadores fue moderada, κ de Fleiss = ,54, z = 5,88, p < ,001 (10 sujetos, 4 evaluadores cada uno).» El kappa no puede superar 1, así que se omite el cero inicial.
Supuestos y errores comunes
- Número desigual de calificaciones. Cada sujeto necesita el mismo número de evaluadores. Los sujetos con calificaciones faltantes deben eliminarse, o usa el alfa de Krippendorff, que sí los admite.
- Categorías ordinales. El kappa de Fleiss trata las categorías como no ordenadas, así que un casi acierto cuenta igual que un error grande. Para calificaciones ordenadas, considera un coeficiente de correlación intraclase.
- Filas que no suman. En el formato de recuentos, una fila indica cuántos evaluadores eligieron cada categoría, no cuáles, así que cada fila debe sumar n.
- Leer la prueba z como medida de fuerza. Un valor p muy pequeño solo indica que la concordancia supera al azar; el tamaño de κ indica qué tan bien concuerdan los evaluadores.
- Esperar el kappa de Cohen con dos evaluadores. Con dos evaluadores, el kappa de Fleiss equivale a la pi de Scott, que puede diferir ligeramente del kappa de Cohen.
Preguntas frecuentes
- ¿Cuál es la diferencia entre el kappa de Fleiss y el kappa de Cohen?
- El kappa de Cohen mide la concordancia entre exactamente dos evaluadores y estima el azar con la proporción de categorías que usa cada evaluador. El kappa de Fleiss admite cualquier número de evaluadores y reúne todas las calificaciones para estimar el azar. Con dos evaluadores, el kappa de Fleiss se reduce a la pi de Scott y no al kappa de Cohen, así que ambos pueden diferir ligeramente.
- ¿Los mismos evaluadores deben calificar a todos los sujetos?
- No. El kappa de Fleiss solo exige que cada sujeto reciba el mismo número de calificaciones; pueden aportarlas personas distintas. Eso encaja con diseños en los que, por ejemplo, tres de veinte revisores codifican cada documento. Si un mismo panel fijo califica todo, el kappa de Fleiss sigue funcionando, aunque algunos investigadores prefieren promediar el kappa de Cohen sobre todos los pares de evaluadores.
- ¿Qué valor del kappa de Fleiss es bueno?
- Según los criterios de Landis y Koch (1977), 0,41–0,60 es concordancia moderada, 0,61–0,80 sustancial y 0,81–1,00 casi perfecta. Esas etiquetas son convenciones y no pruebas, y lo aceptable depende del uso que se dará a las calificaciones. Informa el valor junto con su contexto —sujetos, evaluadores, categorías— y no solo la etiqueta.
- ¿Por qué la calculadora no da un intervalo de confianza para el kappa de Fleiss?
- El error estándar que derivaron Fleiss, Nee y Landis (1979) supone κ = 0; por eso es correcto para comprobar si la concordancia supera al azar, pero demasiado pequeño o demasiado grande para construir un intervalo alrededor de un kappa distinto de cero. Un bootstrap sobre los sujetos —remuestrear las filas, recalcular κ y tomar los percentiles 2,5 y 97,5— da un intervalo defendible.
- ¿Puedo usar el kappa de Fleiss con calificaciones ordinales?
- Puedes, pero ignora el orden: calificar un sujeto como 1 en lugar de 2 cuenta igual que calificarlo como 1 en lugar de 5. Para escalas ordenadas, un coeficiente de correlación intraclase o el alfa de Krippendorff con una métrica ordinal aprovecha esa información.
- ¿Qué hago si algunos sujetos tienen calificaciones faltantes?
- El kappa de Fleiss exige el mismo número de calificaciones por sujeto. En el formato de calificaciones sin procesar, la calculadora conserva los sujetos con el número de calificaciones más frecuente y te indica cuántos dejó fuera. Si muchos sujetos están incompletos, el alfa de Krippendorff está diseñado para calificaciones faltantes.