Calculateur du kappa de Cohen

Comment utiliser le calculateur du kappa de Cohen

1. 1. Choisissez votre format de données. Utilisez Tableau d'accord (effectifs) si vous disposez déjà des effectifs : les catégories de l'évaluateur A le long de la gauche et celles de l'évaluateur B en haut. Utilisez Deux colonnes d'évaluations si vous avez une ligne par sujet, avec l'étiquette attribuée par chaque évaluateur.
2. 2. Collez les données. Copiez-les directement depuis un tableur ou saisissez-les avec des tabulations, des virgules ou des espaces. Les noms de catégories dans une ligne d'en-tête sont facultatifs. Le calculateur affiche le tableau d'accord qu'il a construit, avec les totaux par ligne et par colonne, pour que vous puissiez le vérifier.
3. 3. Définissez l'ordre des catégories pour les évaluations ordinales. Le kappa pondéré traite les catégories comme ordonnées de la plus basse à la plus haute. Les codes numériques se trient automatiquement ; pour des mots comme Échec, Réussi et Mention, saisissez l'ordre dans la case prévue.
4. 4. Lisez le kappa et son intervalle. Vous obtenez κ, son IC à 95 %, l'accord observé et l'accord dû au hasard, ainsi qu'un test z de κ = 0. Avec trois catégories ou plus, un tableau ajoute les kappas pondérés linéaire et quadratique. Copiez la ligne au style APA lorsque vous avez terminé.

La formule du kappa de Cohen

Le kappa compare l'accord que les évaluateurs ont réellement atteint à celui que deux évaluateurs obtiendraient par hasard s'ils attribuaient les catégories indépendamment, selon leurs propres proportions observées :

• pₒ, accord observé : la part des sujets que les deux évaluateurs ont placés dans la même catégorie (la diagonale du tableau divisée par n).
• pₑ, accord dû au hasard : Σ (total de ligne × total de colonne) / n², l'accord attendu si chaque évaluateur gardait ses propres proportions de catégories mais choisissait indépendamment.
• κ = 1 signifie un accord parfait, κ = 0 un accord non meilleur que le hasard, et les valeurs négatives un accord inférieur à celui du hasard.

Le kappa pondéré accorde un crédit partiel aux quasi-erreurs sur une échelle ordonnée : κw = (pₒ(w) − pₑ(w)) / (1 − pₑ(w)), où chaque cellule est multipliée par un poids d'accord. Les poids linéaires (Cicchetti–Allison) valent w = 1 − |i − j| / (k − 1) ; les poids quadratiques (Fleiss–Cohen) valent w = 1 − (i − j)² / (k − 1)². Avec des poids quadratiques, le kappa est étroitement lié au coefficient de corrélation intraclasse.

L'IC à 95 % est κ ± 1,96 × SE, en utilisant l'erreur type de grand échantillon de Fleiss, Cohen et Everitt (1969) ; le test z de κ = 0 utilise une seconde erreur type, calculée sous cette hypothèse nulle. Les deux sont asymptotiques : traitez-les comme approximatifs sur de petits échantillons. Ce sont les formules qu'utilise SAS PROC FREQ, et le calculateur reproduit ses exemples documentés à quatre décimales.

Exemple détaillé : deux enseignants qui notent 50 dissertations

Deux enseignants ont chacun noté les mêmes 50 dissertations en Faible, Moyen ou Élevé. Appuyez sur Charger l'exemple en mode tableau pour saisir leurs effectifs :

Les enseignants s'accordent sur 14 + 13 + 11 = 38 dissertations, donc pₒ = 38 / 50 = 0,76. L'accord dû au hasard vaut pₑ = (18 × 16 + 19 × 18 + 13 × 16) / 50² = 838 / 2 500 = 0,3352. Puis κ = (0,76 − 0,3352) / (1 − 0,3352) = 0,639, avec SE = 0,091, IC à 95 % [0,461 ; 0,817] et z = 6,41, p < ,001. Avec ces totaux, le kappa maximal possible est 0,910 : ce n'est pas le plafond qui limite le kappa ici, ce sont les 12 désaccords.

Les kappas pondérés sont plus élevés parce que 11 des 12 désaccords ne portent que sur un écart d'une catégorie. Comme Faible, Moyen et Élevé sont ordonnés, un kappa pondéré est un résumé équitable ici ; pour des catégories non ordonnées, comme des diagnostics, seule la valeur non pondérée a un sens.

Comment interpréter et rapporter le kappa

Landis et Koch ont présenté leurs découpages comme arbitraires, et d'autres auteurs en utilisent de plus stricts ; donnez donc la valeur et son intervalle plutôt que le seul qualificatif. Le kappa dépend aussi des totaux marginaux. Lorsqu'une catégorie est très fréquente, l'accord dû au hasard est élevé et le kappa peut rester faible même lorsque les évaluateurs s'accordent sur la plupart des sujets : c'est le « paradoxe du kappa » décrit par Feinstein et Cicchetti (1990). Rapporter pₒ, pₑ et le kappa maximal possible à côté de κ aide le lecteur à comprendre pourquoi.

Un compte rendu de l'exemple au style APA : « L'accord entre les deux enseignants était substantiel, κ de Cohen = ,64, IC à 95 % [,46 ; ,82], z = 6,41, p < ,001 (n = 50). » Le kappa ne pouvant dépasser 1, le style APA omet le zéro initial.

Erreurs courantes

• Présenter le pourcentage d'accord comme une fiabilité. Un accord de 76 % semble fort, mais deux enseignants qui notent indépendamment selon leurs propres proportions s'accorderaient par hasard sur environ 34 % de ces dissertations ; le kappa retire cette part.
• Pondérer des catégories nominales. Le kappa pondéré suppose un ordre. Pour des catégories sans ordre, utilisez la valeur non pondérée.
• Inverser le tableau. Les lignes doivent représenter un évaluateur et les colonnes l'autre, avec les catégories dans le même ordre des deux côtés, pour que les accords tombent sur la diagonale.
• Tester κ = 0 et s'arrêter là. Un z significatif indique seulement que l'accord dépasse le hasard ; un kappa faible peut être très significatif sur un grand échantillon.

Questions fréquentes

Quelle est une bonne valeur du kappa de Cohen ?

Selon les repères de Landis et Koch (1977), 0,41–0,60 est modéré, 0,61–0,80 substantiel et au-delà de 0,80 presque parfait. Le niveau acceptable dépend des enjeux : des évaluations qui alimentent des décisions sur des personnes, comme des diagnostics, exigent un accord bien plus élevé qu'un codage exploratoire. Comme ces repères sont conventionnels, rapportez le kappa avec son intervalle de confiance et comparez-le à ce que publient des études similaires dans votre domaine.

Quelle est la différence entre le kappa de Cohen et le pourcentage d'accord ?

Le pourcentage d'accord est simplement pₒ, la part des sujets que les évaluateurs ont classés de la même manière. Le kappa retranche l'accord attendu par hasard et renormalise le résultat : 0 correspond à un accord au niveau du hasard et 1 à un accord parfait. Deux évaluateurs qui jugent « normal » 90 % des cas s'accorderont souvent par simple hasard ; le pourcentage d'accord le récompense, le kappa non.

Quand utiliser le kappa pondéré, et quels poids ?

Utilisez le kappa pondéré lorsque les catégories sont ordonnées, de sorte que confondre Faible et Moyen est une erreur moins grave que confondre Faible et Élevé. Les poids linéaires pénalisent le désaccord proportionnellement à la distance entre catégories ; les poids quadratiques pénalisent plus fortement les désaccords éloignés et donnent des valeurs proches d'un coefficient de corrélation intraclasse. Indiquez les poids utilisés, car ils modifient le résultat.

Pourquoi le kappa est-il faible alors que les évaluateurs s'accordent la plupart du temps ?

Parce que l'accord dû au hasard est élevé lorsqu'une catégorie domine. Si les deux évaluateurs qualifient 95 % des cas de négatifs, ils s'accorderont sur la plupart des cas même en notant au hasard ; pₑ est donc grand et la marge au-dessus est petite. C'est le paradoxe du kappa : rapportez pₒ et pₑ à côté de κ, ainsi que le kappa maximal possible du calculateur, afin que le lecteur voie l'effet des totaux.

Puis-je utiliser le kappa de Cohen avec plus de deux évaluateurs ?

Non : le kappa de Cohen compare exactement deux évaluateurs. Lorsque chaque sujet est évalué par le même nombre d'évaluateurs, utilisez le kappa de Fleiss. Certaines études qui disposent d'un panel fixe d'évaluateurs calculent plutôt la moyenne des kappas de Cohen de chaque paire d'évaluateurs (kappa de Light).