Fleiss' Kappa 计算器
衡量三名或更多评分者把对象归入各类别时的一致程度。粘贴“对象 × 类别”的计数表,或原始评分(每行一个对象),即可得到 Fleiss' kappa、观测一致性与机遇一致性、z 检验,以及每个类别的 kappa,并展示完整的计算过程。免费,无需注册,全部计算都在您的浏览器中完成。
每个单元格是有多少评分者把该对象归入该类别,因此每行的合计等于评分者人数。第一列的对象名称和类别名称所在的表头行都是选填的。
请粘贴一张计数表,或每个对象一行评分,以查看 Fleiss' kappa。
如何使用 Fleiss' Kappa 计算器
- 1. 选择数据格式。 每个类别的计数要求每行一个对象、每列一个类别,单元格填写有多少评分者把该对象归入该类别。每个单元格一个评分则输入原始数据——每行一个对象、每列一名评分者——由工具自动计数。
- 2. 粘贴数据。 直接从电子表格复制即可。第一列的对象名称和首行的类别名称都是选填的。在计数表中,每行的合计必须相同,等于评分者人数;不相同的行会被高亮显示。
- 3. 检查表格。 在给出任何结果之前,计算器会显示将要使用的计数,并在 n 列中列出每个对象的合计。
- 4. 阅读结果。 您将得到 Fleiss' κ、平均观测一致性 P̄、机遇一致性 P̄ₑ、κ = 0 的 z 检验,以及每个类别的 κ。复制 APA 格式的结果行即可用于写作。
Fleiss' Kappa 公式
Fleiss(1971)把 kappa 推广到任意数量的评分者。设有 N 个对象,每个对象由 n 名评分者归入 k 个类别,其中 nᵢⱼ 名评分者把对象 i 归入类别 j。单个对象内部的一致程度,是评分者两两配对中达成一致的比例:
公式
Pᵢ = (Σⱼ nᵢⱼ² − n) / (n(n − 1))
P̄ = (1/N) Σᵢ Pᵢ P̄ₑ = Σⱼ pⱼ² κ = (P̄ − P̄ₑ) / (1 − P̄ₑ)
- P̄ —— 各对象的平均一致性。
- pⱼ —— 全部 N × n 个评分中落入类别 j 的比例。
- P̄ₑ —— 评分者若按照总体比例随机选择类别时的期望一致性。
- κ —— 超出机遇的一致性,取值中 1 表示完全一致,0 表示与机遇水平相当。
计算器还会给出每个类别的 κⱼ(将该类别与其余所有类别合并比较),并使用 Fleiss、Nee 和 Landis(1979)的标准误进行 κ = 0 的 z 检验。该标准误是在原假设下推导的,因此适用于检验,但不适用于置信区间。若需要区间,请以对象为单位进行自助法(bootstrap)重抽样。
示例:四名编码员,十条帖子
四名编码员将十条社交媒体帖子分为积极、中性或消极。点击载入示例即可输入这些计数:
| 帖子 | 积极 | 中性 | 消极 | Pᵢ |
|---|---|---|---|---|
| 1 | 4 | 0 | 0 | 1.000 |
| 2 | 3 | 1 | 0 | 0.500 |
| 3 | 0 | 4 | 0 | 1.000 |
| 4 | 0 | 3 | 1 | 0.500 |
| 5 | 1 | 1 | 2 | 0.167 |
| 6 | 0 | 0 | 4 | 1.000 |
| 7 | 2 | 2 | 0 | 0.333 |
| 8 | 0 | 1 | 3 | 0.500 |
| 9 | 4 | 0 | 0 | 1.000 |
| 10 | 0 | 4 | 0 | 1.000 |
对于帖子 2,Pᵢ = (3² + 1² + 0² − 4) / (4 × 3) = 6 / 12 = 0.500。十个 Pᵢ 的均值为 P̄ = 0.700。40 个评分中,积极 14 个、中性 16 个、消极 10 个,因此 pⱼ 分别为 0.35、0.40 和 0.25,P̄ₑ = 0.35² + 0.40² + 0.25² = 0.345。于是 κ = (0.700 − 0.345) / (1 − 0.345) = 0.542,按照 Landis 和 Koch 的标准属于中等一致。SE₀ = 0.0922,z = 5.88,p < .001。
各类别的 kappa 显示了编码员分歧所在:积极 κ = 0.634,消极 κ = 0.556,中性 κ = 0.444。中性是编码员最难始终如一地应用的类别——这提示在编码全部样本之前,应在编码手册中收紧其定义。
解读与报告 Fleiss' Kappa
Fleiss' kappa 通常对照 Landis 和 Koch(1977)的标准进行解读:0.21–0.40 为一般,0.41–0.60 为中等,0.61–0.80 为较高,高于 0.80 为几乎完全一致。与 Cohen's kappa 一样,这些分界点只是惯例;而且当某一类别占据大多数评分时,即使一致程度很高,kappa 也会被拉低。报告 κ 时应同时注明对象数、评分者数和类别数;各类别的 kappa 有差异时也应一并报告。
APA 格式表述:“四名编码员之间的一致性为中等,Fleiss' κ = .54,z = 5.88,p < .001(10 个被评对象,每个对象 4 名评分者)。” kappa 不可能超过 1,因此省略了前导零。
假设与常见错误
- 评分次数不相等。 每个对象都必须有相同数量的评分者。有缺失评分的对象需要剔除,或改用允许缺失值的 Krippendorff's alpha。
- 有序类别。 Fleiss' kappa 把类别视为无序的,因此相差一级的分歧与相差很远的分歧计为相同。对于有序评分,可考虑组内相关系数。
- 各行合计不符。 在计数格式中,每一行表示各类别被选择的次数,而非哪些评分者做了选择,因此每行的合计必须等于 n。
- 把 z 检验当作强度指标。 很小的 p 值只说明一致性超过了机遇水平;kappa 的大小才说明评分者的一致程度。
- 评分者只有两人时套用 Cohen's kappa。 两名评分者时,Fleiss' kappa 等于 Scott's pi,与 Cohen's kappa 会略有不同。
常见问题
- Fleiss' kappa 与 Cohen's kappa 有什么区别?
- Cohen's kappa 衡量恰好两名评分者之间的一致性,并利用每位评分者自己的类别比例估计机遇一致性。Fleiss' kappa 可处理任意数量的评分者,并汇总所有评分来估计机遇。当只有两名评分者时,Fleiss' kappa 会退化为 Scott's pi 而非 Cohen's kappa,因此两者结果可能略有不同。
- 每个对象都必须由同一批评分者评定吗?
- 不必。Fleiss' kappa 只要求每个对象获得的评分数量相同,评分者可以不同。这适用于例如从二十名审阅者中任选三人为每份文档编码的设计。若固定的一组评分者评定所有对象,Fleiss' kappa 同样适用,不过有些研究者更倾向于对每一对评分者的 Cohen's kappa 取平均。
- Fleiss' kappa 达到多少算好?
- 按照 Landis 和 Koch(1977)的标准,0.41–0.60 为中等,0.61–0.80 为较高,0.81–1.00 为几乎完全一致。这些标签只是惯例而非检验,可接受的水平取决于评分结果将如何使用。报告时应同时给出背景信息——对象数、评分者数和类别数——而不要只报告标签。
- 为什么计算器不给出 Fleiss' kappa 的置信区间?
- Fleiss、Nee 和 Landis(1979)推导的标准误假定 κ = 0,因此它适用于检验一致性是否超过机遇水平,但对于围绕非零 kappa 构造区间而言,它过小或过大。以对象为单位做自助法(bootstrap)——对各行重抽样、重新计算 κ,取第 2.5 和第 97.5 百分位数——可以得到站得住脚的区间。
- 能否用 Fleiss' kappa 处理有序评分?
- 可以,但它会忽略顺序:把对象评为 1 而非 2,与评为 1 而非 5,被视为同样的分歧。对于有序量表,可以使用组内相关系数,或采用有序度量的 Krippendorff's alpha,以利用这些信息。
- 如果某些对象的评分缺失怎么办?
- Fleiss' kappa 要求每个对象的评分数相同。在原始评分格式中,计算器会保留评分数最常见的对象,并告知您剔除了多少个。若大量对象的评分不完整,应使用专为缺失评分设计的 Krippendorff's alpha。