Cohen's Kappa 计算器
衡量两位评分者在排除机遇因素之后的一致程度。粘贴一个 k × k 的一致性表,或两列类别标签,即可得到 Cohen's kappa 及其标准误、95% 置信区间和 z 检验;当类别有序时,还会给出线性与二次加权 kappa。免费,无需注册,数据不会离开您的浏览器。
由计数组成的方阵,可从电子表格粘贴,或用制表符、逗号或空格输入。第一行和第一列中的类别名称是可选的。
请粘贴一个一致性表,或两列评分,以查看 Cohen's kappa。
如何使用 Cohen's Kappa 计算器
- 1. 选择数据格式。 如果您已有计数,请使用一致性表——评分者 A 的类别排在左侧,评分者 B 的类别排在顶部。如果您每位受试者一行、每人一个标签,请使用两列评分。
- 2. 粘贴数据。 可直接从电子表格复制,或用制表符、逗号或空格输入。第一行中的类别名称是可选的。计算器会显示它所构建的一致性表,并附行合计与列合计,便于您核对。
- 3. 为有序评分设定类别顺序。 加权 kappa 将类别视为从低到高有序。数字代码会自动排序;对于“不及格、及格、良好”这样的文字,请在方框中输入顺序。
- 4. 阅读 kappa 及其区间。 您会得到 κ、其 95% 置信区间、观察一致性与随机一致性,以及 κ = 0 的 z 检验。当类别达到三个或更多时,表格会增加线性与二次加权 kappa。完成后复制 APA 格式的语句。
Cohen's Kappa 公式
Kappa 比较两位评分者实际达成的一致程度,与若他们各自按照自己观察到的类别比例、独立地分配类别时出于机遇能够达到的一致程度:
公式
κ = (pₒ − pₑ) / (1 − pₑ)
- pₒ —— 观察一致性:两位评分者都归入同一类别的受试者比例(表中对角线之和除以 n)。
- pₑ —— 随机一致性:Σ (行合计 × 列合计) / n²,即若每位评分者保持自己的类别比例、但彼此独立地选择时所期望的一致程度。
- κ = 1 表示完全一致,κ = 0 表示一致程度不比机遇更好,负值则表示一致程度低于机遇。
加权 kappa 对有序量表上的近似不一致给予部分认可:κw = (pₒ(w) − pₑ(w)) / (1 − pₑ(w)),其中每个单元格都乘以一致性权重。线性(Cicchetti–Allison)权重为 w = 1 − |i − j| / (k − 1);二次(Fleiss–Cohen)权重为 w = 1 − (i − j)² / (k − 1)²。采用二次权重时,kappa 与组内相关系数密切相关。
95% 置信区间为 κ ± 1.96 × SE,使用 Fleiss、Cohen 和 Everitt(1969)的大样本标准误;κ = 0 的 z 检验则使用在该原假设下计算的第二个标准误。两者都是渐近的,因此在小样本中应视为近似值。它们与 SAS PROC FREQ 所用的公式相同,本计算器在四位小数上复现了其文档中的示例。
示例:两位教师评阅 50 篇论文
两位教师各自将同一批 50 篇论文评为低、中或高。在表格模式下点击载入示例,即可输入他们的计数:
| 低 | 中 | 高 | 合计 | |
|---|---|---|---|---|
| 低 | 14 | 3 | 1 | 18 |
| 中 | 2 | 13 | 4 | 19 |
| 高 | 0 | 2 | 11 | 13 |
| 合计 | 16 | 18 | 16 | 50 |
两位教师在 14 + 13 + 11 = 38 篇论文上取得一致,因此 pₒ = 38 / 50 = 0.76。随机一致性为 pₑ = (18 × 16 + 19 × 18 + 13 × 16) / 50² = 838 / 2,500 = 0.3352。于是 κ = (0.76 − 0.3352) / (1 − 0.3352) = 0.639,SE = 0.091,95% CI [0.461, 0.817],z = 6.41,p < .001。在这些边际下,可能达到的最大 kappa 为 0.910,因此限制 kappa 的并非上限,而是那 12 处分歧。
| 权重 | κ | SE | 95% CI | z |
|---|---|---|---|---|
| 未加权 | 0.639 | 0.091 | [0.461, 0.817] | 6.41 |
| 线性 | 0.699 | 0.081 | [0.541, 0.857] | 6.40 |
| 二次 | 0.762 | 0.078 | [0.610, 0.914] | 5.43 |
加权 kappa 更高,是因为 12 处分歧中有 11 处只相差一个类别。由于低、中、高是有序的,加权 kappa 在此是合理的概括;对于无序类别(例如诊断),只有未加权的值才有意义。
如何解释和报告 Kappa
| Kappa | 一致程度 |
|---|---|
| 0 以下 | 较差 |
| 0.00–0.20 | 轻微 |
| 0.21–0.40 | 一般 |
| 0.41–0.60 | 中等 |
| 0.61–0.80 | 较高 |
| 0.81–1.00 | 几乎完全 |
Landis 和 Koch 将其划分描述为任意的,其他作者则采用更严格的划分,因此应报告数值及其区间,而不只是标签。Kappa 还取决于边际分布。当某一类别非常常见时,随机一致性很高,即使评分者在大多数受试者上取得一致,kappa 也可能很低,这就是 Feinstein 和 Cicchetti(1990)所描述的“kappa 悖论”。将 pₒ、pₑ 和可能达到的最大 kappa 与 κ 一同报告,有助于读者理解边际的影响。
上述示例的 APA 格式报告为:“两位教师之间的一致性较高,Cohen's κ = .64,95% CI [.46, .82],z = 6.41,p < .001(n = 50)。”Kappa 不可能超过 1,因此 APA 格式省略了首位的零。
常见错误
- 将百分比一致性当作信度。 76% 的一致性听起来很高,但两位独立评阅、各按自身比例评分的教师,在这些论文上出于机遇大约会有 34% 的一致;kappa 剔除了这一部分。
- 对无序类别进行加权。 加权 kappa 假定存在顺序。对于没有顺序的类别,请使用未加权的值。
- 搞混表格方向。 行必须代表一位评分者、列代表另一位,并且两侧的类别顺序相同,这样一致的计数才会落在对角线上。
- 检验 κ = 0 后便停止。 显著的 z 只说明一致性优于机遇;在大样本中,一个很弱的 kappa 也可能非常显著。
常见问题
- 什么样的 Cohen's kappa 值才算好?
- 按照 Landis 和 Koch(1977)的基准,0.41–0.60 为中等,0.61–0.80 为较高,高于 0.80 则为几乎完全。可以接受的水平取决于风险:用于决定个人去向的评分(例如诊断)需要高得多的一致性,而探索性编码则不必如此。由于这些基准只是约定俗成的,应同时报告 kappa 及其置信区间,并与您所在领域类似研究的报告值进行比较。
- Cohen's kappa 与百分比一致性有何区别?
- 百分比一致性就是 pₒ,即评分者归入同一类别的受试者比例。Kappa 则减去机遇所能达到的一致性,并对结果进行重新标度,因此 0 表示与机遇水平相当的一致,1 表示完全一致。两位评阅者都把 90% 的病例标为“正常”,他们会因为机遇而经常一致,百分比一致性会奖励这种情况,而 kappa 不会。
- 什么时候使用加权 kappa,应选哪种权重?
- 当类别有序、因而把低误判为中比把低误判为高的错误更小时,使用加权 kappa。线性权重按类别之间的距离成比例地惩罚不一致;二次权重对相距较远的不一致惩罚更重,其数值接近组内相关系数。请说明您所用的权重,因为权重会改变结果。
- 为什么评分者大多数时候都一致,kappa 却很低?
- 因为当某一类别占主导时,随机一致性很高。如果两位评分者都把 95% 的病例判为阴性,那么即使随机评分,他们也会在大多数病例上一致,因此 pₑ 很大,而其上方的余地很小。这就是 kappa 悖论;请将 pₒ、pₑ 以及计算器给出的可能达到的最大 kappa 与 κ 一同报告,以便读者看到边际的影响。
- Cohen's kappa 能用于两位以上的评分者吗?
- 不能,Cohen's kappa 只比较两位评分者。当每位受试者由相同数量的评分者评定时,应使用 Fleiss' kappa。有些研究采用固定的评分者小组,而是对每对评分者的 Cohen's kappa 取平均值(Light's kappa)。