コーエンのκ計算ツール

コーエンのκ計算ツールの使い方

1. 1. データの形式を選びます。 すでに度数がある場合は一致表を使います。評価者Aのカテゴリーを縦に、評価者Bのカテゴリーを横に並べます。対象ごとに1行で、各評価者のラベルがある場合は評価の2列を使います。
2. 2. データを貼り付けます。 スプレッドシートからそのままコピーするか、タブ、カンマ、スペースで区切って入力します。最初の行と列のカテゴリー名は任意です。ツールは作成した一致表を、行と列の合計付きで表示するので、確認できます。
3. 3. 順序のある評価にはカテゴリーの順序を設定します。 重み付きκは、カテゴリーが低い順から高い順に並んでいると見なします。数字のコードは自動で並びます。不合格、合格、優のような言葉の場合は、順序を欄に入力してください。
4. 4. κと信頼区間を読みます。 κ、95%信頼区間、観察された一致と偶然による一致、κ = 0 のz検定が表示されます。カテゴリーが3つ以上ある場合は、線形と二次の重み付きκも表に加わります。終わったら、APA形式の一行をコピーできます。

コーエンのκの公式

κは、評価者が実際に達成した一致を、各評価者が自分のカテゴリーの割合のまま独立に選んだ場合に偶然で一致するであろう水準と比べます。

• pₒ：観察された一致。両方の評価者が同じカテゴリーに入れた対象の割合です（表の対角線の合計を n で割ったもの）。
• pₑ：偶然による一致。Σ（行合計 × 列合計）/ n² で、各評価者が自分のカテゴリーの割合を保ったまま独立に選んだ場合に期待される一致です。
• κ = 1 は完全な一致、κ = 0 は偶然と同程度の一致を、負の値は偶然より少ない一致を意味します。

重み付きκ は、順序のあるカテゴリーでわずかな食い違いに部分的な評価を与えます：κw = (pₒ(w) − pₑ(w)) / (1 − pₑ(w))。各セルには一致の重みが掛けられます。線形（Cicchetti–Allison）の重みは w = 1 − |i − j| / (k − 1)、二次（Fleiss–Cohen）の重みは w = 1 − (i − j)² / (k − 1)² です。二次の重みを使うと、κは級内相関に近い関係になります。

95%信頼区間は κ ± 1.96 × SE で、Fleiss、Cohen、Everitt（1969）の大標本の標準誤差を使います。κ = 0 のz検定は、帰無仮説の下で計算した2つ目の標準誤差を使います。どちらも漸近的な方法なので、小標本では近似として扱ってください。これらはSAS PROC FREQが用いる公式で、このツールはそのドキュメントの例を小数点以下4桁まで再現します。

具体例：2人の教員が50本の小論文を採点する

2人の教員が、同じ50本の小論文を「低」「中」「高」で評価しました。一致表のモードで例を読み込むを押すと、彼らの度数が入力されます。

教員は14 + 13 + 11 = 38本の小論文で一致しているので、pₒ = 38 / 50 = 0.76 です。偶然による一致は pₑ = (18 × 16 + 19 × 18 + 13 × 16) / 50² = 838 / 2,500 = 0.3352 です。したがって κ = (0.76 − 0.3352) / (1 − 0.3352) = 0.639、SE = 0.091、95%信頼区間 [0.461, 0.817]、z = 6.41、p < .001 となります。この周辺度数では取りうる最大のκは0.910なので、κを押し下げているのは上限ではなく、12件の不一致です。

重み付きκの方が高いのは、12件の不一致のうち11件が隣り合うカテゴリー間のものだからです。低、中、高には順序があるため、この場合は重み付きκが妥当な要約になります。診断名のように順序のないカテゴリーでは、重みなしの値だけが意味を持ちます。

κの解釈と報告

ランディスとコックは区分を任意のものだと述べており、より厳しい区分を使う著者もいます。そのため、ラベルだけでなく、数値と信頼区間を報告してください。κは周辺度数にも依存します。あるカテゴリーが非常に多いと偶然による一致が高くなるため、評価者がほとんどの対象で一致していても、κは低くなることがあります。これはFeinsteinとCicchetti（1990）が述べた「カッパのパラドックス」です。κとあわせて pₒ、pₑ、取りうる最大のκを報告すると、周辺度数の影響を読者が理解しやすくなります。

例のAPA形式の記載は次のとおりです。2人の教員の一致は高いものでした。コーエンのκ = .64、95% CI [.46, .82]、z = 6.41、p < .001（n = 50）。κは1を超えないため、APA形式では先頭の0を省きます。

よくある間違い

• パーセント一致を信頼性として報告する。 76%の一致は強く見えますが、独立に評価した2人の教員は、それぞれの割合のままでも、これらの小論文の約34%で偶然一致します。κはその分を取り除きます。
• 名義のカテゴリーに重みを付ける。 重み付きκは順序を前提とします。順序のないカテゴリーでは、重みなしの値を使ってください。
• 表を取り違える。 行はある評価者、列はもう一方の評価者で、両側で同じ順序のカテゴリーを並べます。そうすると、一致が対角線に並びます。
• κ = 0 の検定で満足してしまう。 有意なzは、一致が偶然を上回ることを示すだけです。大標本では、弱いκでも非常に有意になることがあります。

よくある質問

コーエンのκの良い値はどれくらいですか？

ランディスとコック（1977）の基準では、0.41〜0.60は中程度、0.61〜0.80は高い、0.80を超えるとほぼ完全です。何が許容されるかは、結果の重大さに依存します。診断のように個人についての判断につながる評価では、探索的なコーディングよりずっと高い一致が必要です。基準は慣習にすぎないので、κを信頼区間とともに報告し、同分野の類似研究が報告する値と比べてください。

コーエンのκとパーセント一致の違いは何ですか？

パーセント一致は、単に pₒ、つまり評価者が同じように分類した対象の割合です。κは偶然による一致を差し引き、結果を再スケールするので、0は偶然と同程度の一致、1は完全な一致を意味します。どちらも90%の症例を「正常」と評価した2人の評価者は、偶然だけでもよく一致します。パーセント一致はそれを評価しますが、κは評価しません。

重み付きκはいつ使い、どの重みを使えばよいですか？

カテゴリーに順序がある場合、たとえば低と中の食い違いは低と高の食い違いより小さな誤りだと考えられる場合に、重み付きκを使います。線形の重みは、カテゴリー間の距離に比例して不一致を重く扱います。二次の重みは、離れた不一致をより重く扱い、級内相関に近い値になります。どの重みを使ったかを明記してください。結果が変わるからです。

評価者が大半の場合に一致しているのに、κが低いのはなぜですか？

一つのカテゴリーが優勢だと偶然による一致が高くなるからです。両方の評価者が症例の95%を陰性と評価すると、ランダムに評価しても大半で一致するため、pₑが大きく、その上の余地は小さくなります。これがカッパのパラドックスです。pₒとpₑ、そして計算ツールが示す取りうる最大のκを、κとあわせて報告すると、読者は周辺度数の影響を理解できます。

3人以上の評価者にもコーエンのκを使えますか？

いいえ。コーエンのκは厳密に2人の評価者を比べます。各対象を同じ人数の評価者が評価している場合は、フライスのκを使ってください。評価者の固定したパネルを使う研究では、評価者のすべての組のコーエンのκを平均する方法（ライトのκ）をとることもあります。