Calculateur du kappa de Fleiss

Comment utiliser le calculateur du kappa de Fleiss

1. 1. Choisissez un format de données. Effectifs par catégorie prend une ligne par sujet et une colonne par catégorie, chaque cellule indiquant combien d'évaluateurs ont classé ce sujet dans cette catégorie. Une évaluation par cellule prend les données brutes — une ligne par sujet, une colonne par évaluateur — et les compte pour vous.
2. 2. Collez les données. Copiez directement depuis un tableur. Les noms des sujets dans la première colonne et les noms des catégories dans une ligne d'en-tête sont facultatifs. Dans le tableau d'effectifs, chaque ligne doit totaliser le même nombre d'évaluateurs ; celles qui ne le font pas sont signalées.
3. 3. Vérifiez le tableau. Le calculateur affiche les effectifs qu'il va utiliser, avec le total de chaque sujet dans la colonne n, avant de donner le moindre résultat.
4. 4. Lisez les résultats. Vous obtenez le κ de Fleiss, l'accord observé moyen P̄, l'accord dû au hasard P̄ₑ, un test z de κ = 0, et un κ pour chaque catégorie. Copiez la phrase au format APA pour votre rédaction.

La formule du kappa de Fleiss

Fleiss (1971) a étendu le kappa à un nombre quelconque d'évaluateurs. Supposons N sujets, chacun évalué par n évaluateurs dans k catégories, et nᵢⱼ évaluateurs qui classent le sujet i dans la catégorie j. L'accord au sein d'un même sujet est la part des paires d'évaluateurs qui s'accordent :

• P̄ — l'accord moyen entre les sujets.
• pⱼ — la part des N × n évaluations totales tombée dans la catégorie j.
• P̄ₑ — l'accord attendu si les évaluateurs choisissaient les catégories au hasard, selon ces proportions globales.
• κ — l'accord au-delà du hasard, ramené à une échelle où 1 signifie un accord parfait et 0 le niveau du hasard.

Le calculateur donne aussi κⱼ pour chaque catégorie, qui oppose cette catégorie à l'ensemble des autres, ainsi qu'un test z de κ = 0 utilisant l'erreur type de Fleiss, Nee et Landis (1979). Cette erreur type est calculée sous l'hypothèse nulle : elle est valable pour le test, mais pas pour un intervalle de confiance. Pour un intervalle, faites un bootstrap sur les sujets.

Exemple détaillé : quatre codeurs, dix publications

Quatre codeurs ont classé dix publications sur les réseaux sociaux comme Positif, Neutre ou Négatif. Cliquez sur Charger l'exemple pour saisir les effectifs :

Pour la publication 2, Pᵢ = (3² + 1² + 0² − 4) / (4 × 3) = 6 / 12 = 0,500. Les dix valeurs donnent en moyenne P̄ = 0,700. Les 40 évaluations se répartissent en 14 Positif, 16 Neutre et 10 Négatif, donc les parts pⱼ valent 0,35 ; 0,40 et 0,25, et P̄ₑ = 0,35² + 0,40² + 0,25² = 0,345. Puis κ = (0,700 − 0,345) / (1 − 0,345) = 0,542, un accord modéré selon les seuils de Landis et Koch. Avec SE₀ = 0,0922, z = 5,88 et p < 0,001.

Les kappas par catégorie montrent où les codeurs divergent : κ Positif = 0,634, κ Négatif = 0,556 et κ Neutre = 0,444. Neutre est la catégorie que les codeurs appliquent le moins uniformément — un signal pour préciser sa définition dans le manuel de codage avant de coder l'échantillon complet.

Interpréter et rapporter le kappa de Fleiss

Le kappa de Fleiss se lit en général à l'aide des seuils de Landis et Koch (1977) : 0,21–0,40 passable, 0,41–0,60 modéré, 0,61–0,80 substantiel et au-dessus de 0,80 presque parfait. Comme pour le kappa de Cohen, ces seuils sont des conventions, et le kappa est tiré vers le bas lorsqu'une catégorie domine les évaluations, même si l'accord est élevé. Rapportez κ avec le nombre de sujets, d'évaluateurs et de catégories, ainsi que les kappas par catégorie lorsqu'ils diffèrent.

En style APA : « L'accord entre les quatre codeurs était modéré, κ de Fleiss = ,54, z = 5,88, p < ,001 (10 sujets, 4 évaluateurs chacun). » Le κ ne pouvant pas dépasser 1, son zéro initial est omis.

Hypothèses et erreurs courantes

• Nombres d'évaluations inégaux. Chaque sujet doit avoir le même nombre d'évaluateurs. Les sujets dont des évaluations manquent doivent être retirés, ou vous pouvez utiliser l'alpha de Krippendorff, qui les accepte.
• Catégories ordonnées. Le kappa de Fleiss traite les catégories comme non ordonnées : une erreur d'un seul cran compte donc autant qu'une erreur grossière. Pour des évaluations ordonnées, envisagez un coefficient de corrélation intraclasse.
• Lignes qui ne totalisent pas le bon nombre. Dans le format d'effectifs, une ligne indique combien d'évaluateurs ont choisi chaque catégorie, et non lesquels ; chaque ligne doit donc totaliser n.
• Lire le test z comme une mesure de la force de l'accord. Une valeur p très petite indique seulement que l'accord dépasse le hasard ; c'est la valeur de κ qui dit à quel point les évaluateurs s'accordent.
• Attendre le kappa de Cohen avec deux évaluateurs. Avec deux évaluateurs, le kappa de Fleiss équivaut au pi de Scott, qui peut différer légèrement du kappa de Cohen.

Questions fréquentes

Quelle est la différence entre le kappa de Fleiss et le kappa de Cohen ?

Le kappa de Cohen mesure l'accord entre exactement deux évaluateurs et utilise les proportions de catégories propres à chacun pour estimer l'accord dû au hasard. Le kappa de Fleiss gère un nombre quelconque d'évaluateurs et regroupe toutes les évaluations pour estimer le hasard. Avec deux évaluateurs, le kappa de Fleiss se réduit au pi de Scott plutôt qu'au kappa de Cohen, si bien que les deux peuvent différer légèrement.

Les mêmes évaluateurs doivent-ils noter tous les sujets ?

Non. Le kappa de Fleiss exige seulement que chaque sujet reçoive le même nombre d'évaluations ; ce ne sont pas forcément les mêmes personnes qui les donnent. Cela convient aux plans où, par exemple, trois évaluateurs parmi vingt codent chaque document. Si un même panel note tout, le kappa de Fleiss fonctionne toujours, bien que certains chercheurs préfèrent faire la moyenne des kappas de Cohen sur toutes les paires d'évaluateurs.

Quelle est une bonne valeur du kappa de Fleiss ?

Selon les seuils de Landis et Koch (1977), 0,41–0,60 est un accord modéré, 0,61–0,80 substantiel et 0,81–1,00 presque parfait. Ces étiquettes sont des conventions, non des tests, et ce qui est acceptable dépend de l'usage prévu des évaluations. Rapportez la valeur avec son contexte — sujets, évaluateurs, catégories — plutôt que la seule étiquette.

Pourquoi le calculateur ne donne-t-il pas d'intervalle de confiance pour le kappa de Fleiss ?

L'erreur type établie par Fleiss, Nee et Landis (1979) suppose κ = 0 : elle est donc correcte pour tester si l'accord dépasse le hasard, mais trop petite ou trop grande pour construire un intervalle autour d'un kappa non nul. Un bootstrap sur les sujets — rééchantillonner les lignes, recalculer κ, prendre les 2,5e et 97,5e centiles — donne un intervalle défendable.

Puis-je utiliser le kappa de Fleiss pour des évaluations ordinales ?

Vous le pouvez, mais il ignore l'ordre : attribuer 2 au lieu de 1 compte comme le même désaccord qu'attribuer 5 au lieu de 1. Pour des échelles ordonnées, un coefficient de corrélation intraclasse ou l'alpha de Krippendorff avec une métrique ordinale exploite cette information.

Que faire si certains sujets ont des évaluations manquantes ?

Le kappa de Fleiss exige le même nombre d'évaluations par sujet. Dans le format d'évaluations brutes, le calculateur conserve les sujets ayant le nombre d'évaluations le plus fréquent et indique combien il en a écartés. Si beaucoup de sujets sont incomplets, l'alpha de Krippendorff est conçu pour les évaluations manquantes.