フライスのκ計算ツール
3人以上の評価者が対象をカテゴリーに分類したときの一致度を測ります。対象 × カテゴリーの度数表、または対象ごとに1行の生の評価を貼り付けると、フライスのκ、観察された一致と偶然による一致、z検定、カテゴリーごとのκが、計算過程とともに得られます。無料で、登録は不要で、すべてブラウザ内で動作します。
各セルは、その対象をそのカテゴリーに入れた評価者の人数です。そのため、各行の合計は評価者数になります。最初の列の対象名や、見出し行のカテゴリー名は任意です。
度数の表、または対象ごとに1行の評定を貼り付けると、フライスのκが表示されます。
フライスのκ計算ツールの使い方
- 1. データの形式を選びます。 カテゴリーごとの度数は、1行に1対象、1列に1カテゴリーを取り、各セルにその対象をそのカテゴリーに入れた評価者の人数を書きます。1セルに1評価は、生のデータを取ります。1行に1対象、1列に1評価者で、ツールが度数を数えます。
- 2. データを貼り付けます。 スプレッドシートからそのままコピーしてください。最初の列の対象名や、見出し行のカテゴリー名は任意です。度数の表では、各行の合計が評価者数と同じでなければなりません。同じでない行は強調表示されます。
- 3. 表を確認します。 結果の前に、ツールが使う度数が表示され、各対象の合計がn列に示されます。
- 4. 結果を読みます。 フライスのκ、平均観察一致P̄、偶然による一致P̄ₑ、κ = 0 のz検定、カテゴリーごとのκが得られます。APA形式の一行をコピーして、論文に使えます。
フライスのκの公式
フライス（1971）は、カッパを任意の人数の評価者に拡張しました。N個の対象がそれぞれ n人の評価者によって k 個のカテゴリーに分類され、nᵢⱼ人の評価者が対象 i をカテゴリー j に入れたとします。1つの対象の中での一致は、一致する評価者のペアの割合です：
公式
Pᵢ = (Σⱼ nᵢⱼ² − n) / (n(n − 1))
P̄ = (1/N) Σᵢ Pᵢ P̄ₑ = Σⱼ pⱼ² κ = (P̄ − P̄ₑ) / (1 − P̄ₑ)
- P̄：対象全体の平均一致。
- pⱼ：N × n 個のすべての評価のうち、カテゴリー j に入った割合。
- P̄ₑ：評価者が全体の割合に従ってランダムにカテゴリーを選んだ場合に期待される一致。
- κ：偶然を超えた一致。1が完全一致、0が偶然の水準になるように調整されています。
このツールは、各カテゴリーの κⱼ も示します。これは、そのカテゴリーを残りのすべてのカテゴリーをまとめたものと比べるものです。また、フライス、ニー、ランディス（1979）の標準誤差を使った、κ = 0 の z検定 も示します。その標準誤差は帰無仮説のもとで導かれたものなので、検定には妥当ですが、信頼区間には使えません。区間が必要な場合は、対象を単位としてブートストラップしてください。
具体例：4人の評価者、10件の投稿
4人の評価者が、10件のSNS投稿を、ポジティブ、中立、ネガティブに分類しました。例を読み込むを押すと、度数が入力されます：
| 投稿 | ポジティブ | 中立 | ネガティブ | Pᵢ |
|---|---|---|---|---|
| 1 | 4 | 0 | 0 | 1.000 |
| 2 | 3 | 1 | 0 | 0.500 |
| 3 | 0 | 4 | 0 | 1.000 |
| 4 | 0 | 3 | 1 | 0.500 |
| 5 | 1 | 1 | 2 | 0.167 |
| 6 | 0 | 0 | 4 | 1.000 |
| 7 | 2 | 2 | 0 | 0.333 |
| 8 | 0 | 1 | 3 | 0.500 |
| 9 | 4 | 0 | 0 | 1.000 |
| 10 | 0 | 4 | 0 | 1.000 |
投稿2について、Pᵢ = (3² + 1² + 0² − 4) / (4 × 3) = 6 / 12 = 0.500 です。10個の値の平均は P̄ = 0.700 です。40件の評価は、ポジティブ14、中立16、ネガティブ10に分かれるので、pⱼ = 0.35、0.40、0.25 となり、P̄ₑ = 0.35² + 0.40² + 0.25² = 0.345 です。κ = (0.700 − 0.345) / (1 − 0.345) = 0.542 で、ランディスとコッホの基準では中程度の一致です。SE₀ = 0.0922 で、z = 5.88、p < .001 です。
カテゴリーごとのκは、評価者がどこで意見が分かれているかを示します。ポジティブ κ = 0.634、ネガティブ κ = 0.556、中立 κ = 0.444 です。中立は、評価者が一貫して当てはめるのが最も難しいカテゴリーです。全体のサンプルをコード化する前に、コードブックでそのカテゴリーの定義を明確にするべき合図です。
フライスのκの解釈と報告
フライスのκは、通常ランディスとコッホ（1977）の基準に照らして読まれます。0.21〜0.40はまずまず、0.41〜0.60は中程度、0.61〜0.80は十分、0.80を超えるとほぼ完全な一致です。コーエンのκと同じく、この区切りは慣例であり、1つのカテゴリーが評価を支配すると、一致度が高くてもκは下がります。κは対象数、評価者数、カテゴリー数とともに報告し、カテゴリーごとのκに違いがあるときはそれも報告してください。
APA形式では次のように書けます：「4人の評価者間の一致は中程度であった。フライスのκ = .54、z = 5.88、p < .001（対象10件、各4人の評価者）。」κは1を超えないので、先頭の0は省きます。
前提と典型的な間違い
- 評価者数が一定でない。 対象ごとに同じ数の評価者が必要です。評価が欠けている対象は除外するか、欠測を許すクリッペンドルフのαを使ってください。
- 順序のあるカテゴリー。 フライスのκはカテゴリーを順序のないものとして扱うので、ほぼ当たりの評価も大きく外れた評価も、同じ不一致として数えられます。順序のある評定には、級内相関を検討してください。
- 行の合計が合わない。 度数の形式では、各行は各カテゴリーを選んだ評価者の人数であり、どの評価者かではありません。そのため、各行の合計はnでなければなりません。
- z検定を一致の強さとして読む。 p値がとても小さいのは、一致が偶然を上回ることを示すだけです。κの大きさが、評価者がどれだけ一致しているかを示します。
- 評価者が2人のときにコーエンのκを期待する。 評価者が2人のとき、フライスのκはスコットのπに等しくなり、コーエンのκとわずかに異なることがあります。
よくある質問
- フライスのκとコーエンのκの違いは何ですか？
- コーエンのκは、ちょうど2人の評価者間の一致を測り、偶然の一致を推定するのに各評価者自身のカテゴリー比率を使います。フライスのκは任意の人数の評価者に対応し、偶然の一致を推定するのにすべての評価をまとめて使います。評価者が2人のとき、フライスのκはコーエンのκではなくスコットのπに一致するため、両者はわずかに異なることがあります。
- すべての対象を同じ評価者が評価する必要がありますか？
- いいえ。フライスのκでは、すべての対象が同じ数の評価を受けていることだけが必要です。評価を与える人は違っていてもかまいません。たとえば、20人の審査者のうち任意の3人が各文書をコード化する、といったデザインに合います。1つの固定された評価者パネルがすべてを評価する場合でも、フライスのκは使えますが、2人ずつの組み合わせのコーエンのκを平均することを好む研究者もいます。
- フライスのκの良い値はどのくらいですか？
- ランディスとコッホ（1977）の基準では、0.41〜0.60は中程度、0.61〜0.80は十分、0.81〜1.00はほぼ完全な一致です。これらのラベルは検定ではなく慣例であり、何が許容されるかは評定をどう使うかによります。ラベルだけでなく、対象、評価者、カテゴリーという文脈とともに値を報告してください。
- κがゼロでない場合の信頼区間が、このツールで出ないのはなぜですか？
- フライス、ニー、ランディス（1979）が導いた標準誤差はκ = 0 を仮定しているため、一致が偶然を上回るかを検定するには正しいものの、ゼロでないκの周りに区間を作るには小さすぎたり大きすぎたりします。対象を単位にしたブートストラップ（行を再抽出し、κを再計算し、2.5パーセンタイルと97.5パーセンタイルを取る）が、根拠のある区間を与えます。
- 順序のある評定にフライスのκを使えますか？
- 使えますが、順序は無視されます。対象を2ではなく1と評価することと、5ではなく1と評価することが、同じ不一致として扱われます。順序のある尺度では、級内相関や、順序の計量を使ったクリッペンドルフのαがその情報を使います。
- 対象に欠けた評定があるときはどうすればよいですか？
- フライスのκは、対象ごとの評定数が同じことを必要とします。生の評定の形式では、このツールは最も多い評定数の対象を残し、除外した対象の数を知らせます。不完全な対象が多い場合は、欠測した評定を扱えるように設計されたクリッペンドルフのαを使ってください。