Công Cụ Tính Kappa Cohen
Đo mức độ hai người đánh giá đồng ý với nhau vượt quá mức ngẫu nhiên. Dán một bảng đồng thuận k × k hoặc hai cột nhãn danh mục và nhận kappa Cohen cùng sai số chuẩn, khoảng tin cậy 95% và kiểm định z — cộng kappa có trọng số tuyến tính và bậc hai khi các danh mục có thứ tự. Miễn phí, không cần đăng ký, và không có gì rời khỏi trình duyệt của bạn.
Một bảng vuông các số đếm, dán từ bảng tính hoặc gõ với tab, dấu phẩy hoặc khoảng trắng. Tên danh mục ở hàng đầu và cột đầu là tùy chọn.
Dán một bảng đồng thuận, hoặc hai cột xếp hạng, để xem kappa Cohen.
Cách Sử Dụng Công Cụ Tính Kappa Cohen
- 1. Chọn định dạng dữ liệu. Dùng Bảng đồng thuận nếu bạn đã có số đếm — các danh mục của người đánh giá A ở cột bên trái, của người đánh giá B ở hàng trên cùng. Dùng Hai cột xếp hạng nếu bạn có một dòng cho mỗi đối tượng, với nhãn của từng người đánh giá.
- 2. Dán dữ liệu. Sao chép thẳng từ bảng tính hoặc gõ với tab, dấu phẩy hay khoảng trắng. Tên danh mục trong hàng tiêu đề là tùy chọn. Công cụ hiển thị bảng đồng thuận nó đã dựng, kèm tổng hàng và tổng cột, để bạn kiểm tra lại.
- 3. Đặt thứ tự danh mục cho xếp hạng thứ bậc. Kappa có trọng số coi các danh mục có thứ tự từ thấp đến cao. Mã số tự sắp xếp; với các từ như Không đạt, Đạt và Khá, hãy gõ thứ tự vào ô.
- 4. Đọc kappa và khoảng tin cậy. Bạn nhận được κ, KTC 95%, đồng thuận quan sát và đồng thuận ngẫu nhiên, cùng kiểm định z của κ = 0. Với ba danh mục trở lên, một bảng bổ sung kappa có trọng số tuyến tính và bậc hai. Sao chép dòng theo kiểu APA khi bạn hoàn tất.
Công Thức Kappa Cohen
Kappa so sánh mức đồng ý mà hai người đánh giá thực sự đạt được với mức đồng ý mà họ sẽ đạt được do ngẫu nhiên nếu cùng phân loại độc lập theo tỉ lệ riêng quan sát được của mình:
Công thức
κ = (pₒ − pₑ) / (1 − pₑ)
- pₒ — đồng thuận quan sát được: tỉ lệ đối tượng mà cả hai người đánh giá xếp vào cùng một danh mục (đường chéo của bảng chia cho n).
- pₑ — đồng thuận ngẫu nhiên: Σ (tổng hàng × tổng cột) / n², mức đồng ý kỳ vọng nếu mỗi người giữ tỉ lệ danh mục riêng nhưng chọn độc lập.
- κ = 1 nghĩa là đồng thuận hoàn hảo, κ = 0 nghĩa là đồng thuận không tốt hơn ngẫu nhiên, và giá trị âm nghĩa là đồng thuận thấp hơn ngẫu nhiên.
Kappa có trọng số ghi nhận một phần cho các sai lệch sát nhau trên thang có thứ tự: κw = (pₒ(w) − pₑ(w)) / (1 − pₑ(w)), trong đó mỗi ô được nhân với một trọng số đồng thuận. Trọng số tuyến tính (Cicchetti–Allison) là w = 1 − |i − j| / (k − 1); trọng số bậc hai (Fleiss–Cohen) là w = 1 − (i − j)² / (k − 1)². Với trọng số bậc hai, kappa có liên hệ chặt chẽ với hệ số tương quan nội lớp.
KTC 95% là κ ± 1,96 × SE, dùng sai số chuẩn cỡ lớn của Fleiss, Cohen và Everitt (1969); kiểm định z của κ = 0 dùng một sai số chuẩn thứ hai, được tính dưới giả thuyết không đó. Cả hai đều là xấp xỉ tiệm cận, nên hãy coi chúng là gần đúng với mẫu nhỏ. Đây là các công thức mà SAS PROC FREQ sử dụng, và công cụ tái tạo được các ví dụ đã tài liệu hóa của nó đến bốn chữ số thập phân.
Ví Dụ Minh Họa: Hai Giáo Viên Chấm 50 Bài Luận
Hai giáo viên mỗi người xếp loại cùng 50 bài luận là Thấp, Trung bình hoặc Cao. Nhấn Nạp ví dụ ở chế độ bảng để nhập số đếm của họ:
| Thấp | Trung bình | Cao | Tổng | |
|---|---|---|---|---|
| Thấp | 14 | 3 | 1 | 18 |
| Trung bình | 2 | 13 | 4 | 19 |
| Cao | 0 | 2 | 11 | 13 |
| Tổng | 16 | 18 | 16 | 50 |
Hai giáo viên đồng ý ở 14 + 13 + 11 = 38 bài, nên pₒ = 38 / 50 = 0,76. Đồng thuận ngẫu nhiên là pₑ = (18 × 16 + 19 × 18 + 13 × 16) / 50² = 838 / 2.500 = 0,3352. Khi đó κ = (0,76 − 0,3352) / (1 − 0,3352) = 0,639, với SE = 0,091, KTC 95% [0,461; 0,817] và z = 6,41, p < 0,001. Với các biên này, kappa lớn nhất có thể đạt là 0,910, nên trần không phải là thứ kéo kappa xuống ở đây — mà là 12 bất đồng.
| Trọng số | κ | SE | KTC 95% | z |
|---|---|---|---|---|
| Không trọng số | 0,639 | 0,091 | [0,461; 0,817] | 6,41 |
| Tuyến tính | 0,699 | 0,081 | [0,541; 0,857] | 6,40 |
| Bậc hai | 0,762 | 0,078 | [0,610; 0,914] | 5,43 |
Kappa có trọng số cao hơn vì 11 trong số 12 bất đồng chỉ lệch nhau một danh mục. Vì Thấp, Trung bình và Cao có thứ tự, kappa có trọng số là một tóm tắt hợp lý ở đây; với các danh mục không có thứ tự, như chẩn đoán, chỉ giá trị không trọng số mới có ý nghĩa.
Cách Diễn Giải và Báo Cáo Kappa
| Kappa | Mức độ đồng thuận |
|---|---|
| Dưới 0 | Kém |
| 0,00–0,20 | Nhẹ |
| 0,21–0,40 | Trung bình thấp |
| 0,41–0,60 | Vừa phải |
| 0,61–0,80 | Cao |
| 0,81–1,00 | Gần như hoàn hảo |
Landis và Koch mô tả các mức chia của họ là tùy ý, và các tác giả khác dùng mức chặt hơn, nên hãy báo cáo con số và khoảng của nó thay vì chỉ nhãn. Kappa cũng phụ thuộc vào các biên. Khi một danh mục rất phổ biến, đồng thuận ngẫu nhiên cao và kappa có thể thấp ngay cả khi hai người đánh giá đồng ý ở phần lớn đối tượng — “nghịch lý kappa” mà Feinstein và Cicchetti (1990) mô tả. Báo cáo pₒ, pₑ và kappa lớn nhất có thể đạt bên cạnh κ giúp người đọc thấy vì sao.
Báo cáo theo kiểu APA cho ví dụ: “Agreement between the two teachers was substantial, Cohen's κ = .64, 95% CI [.46, .82], z = 6.41, p < .001 (n = 50).” Vì kappa không thể vượt quá 1, theo kiểu APA sẽ bỏ số 0 đứng trước dấu thập phân.
Lỗi Thường Gặp
- Báo cáo tỉ lệ đồng ý thô như độ tin cậy. 76% đồng ý nghe có vẻ mạnh, nhưng hai giáo viên chấm độc lập theo tỉ lệ riêng sẽ đồng ý khoảng 34% số bài này do ngẫu nhiên; kappa loại bỏ phần đó.
- Gán trọng số cho các danh mục danh định. Kappa có trọng số giả định có thứ tự. Với danh mục không có thứ tự, hãy dùng giá trị không trọng số.
- Nhầm lẫn bảng. Hàng phải là một người đánh giá và cột là người kia, với các danh mục theo cùng thứ tự ở hai phía, để các đồng thuận nằm trên đường chéo.
- Kiểm định κ = 0 rồi dừng ở đó. Một z có ý nghĩa thống kê chỉ cho biết đồng thuận vượt ngẫu nhiên — kappa yếu vẫn có thể rất có ý nghĩa trong mẫu lớn.
Câu Hỏi Thường Gặp
- Giá trị kappa Cohen tốt là bao nhiêu?
- Theo ngưỡng của Landis và Koch (1977), 0,41–0,60 là vừa phải, 0,61–0,80 là cao và trên 0,80 là gần như hoàn hảo. Mức chấp nhận được tùy thuộc vào rủi ro: các xếp hạng dùng để đưa ra quyết định về cá nhân, như chẩn đoán, cần mức đồng thuận cao hơn nhiều so với mã hóa khám phá. Vì ngưỡng chỉ là quy ước, hãy báo cáo kappa cùng khoảng tin cậy và so với những gì các nghiên cứu tương tự trong lĩnh vực của bạn báo cáo.
- Kappa Cohen khác gì với tỉ lệ đồng ý?
- Tỉ lệ đồng ý đơn giản là pₒ, tỉ lệ đối tượng mà người đánh giá phân loại giống nhau. Kappa trừ đi mức đồng thuận kỳ vọng do ngẫu nhiên và chuẩn hóa kết quả, nên 0 nghĩa là đồng thuận ngang mức ngẫu nhiên và 1 nghĩa là đồng thuận hoàn hảo. Hai người đánh giá cùng gán 90% trường hợp là “bình thường” sẽ thường đồng ý do ngẫu nhiên, điều mà tỉ lệ đồng ý thưởng cho nhưng kappa thì không.
- Khi nào nên dùng kappa có trọng số, và dùng trọng số nào?
- Dùng kappa có trọng số khi các danh mục có thứ tự, sao cho nhầm Thấp với Trung bình là lỗi nhỏ hơn nhầm Thấp với Cao. Trọng số tuyến tính phạt bất đồng tỉ lệ với khoảng cách giữa các danh mục; trọng số bậc hai phạt nặng hơn các bất đồng xa và cho giá trị gần với hệ số tương quan nội lớp. Hãy nói rõ bạn đã dùng trọng số nào, vì chúng làm thay đổi kết quả.
- Tại sao kappa thấp khi người đánh giá đồng ý phần lớn thời gian?
- Vì đồng thuận ngẫu nhiên cao khi một danh mục chiếm ưu thế. Nếu cả hai người đánh giá đều gọi 95% trường hợp là âm tính, họ sẽ đồng ý ở phần lớn trường hợp ngay cả khi chấm ngẫu nhiên, nên pₑ lớn và khoảng trống phía trên nó nhỏ. Đây là nghịch lý kappa; hãy báo cáo pₒ và pₑ cùng κ, và kappa lớn nhất có thể đạt của công cụ, để người đọc thấy tác động của các biên.
- Tôi có thể dùng kappa Cohen với nhiều hơn hai người đánh giá không?
- Không — kappa Cohen chỉ so sánh đúng hai người đánh giá. Khi mỗi đối tượng được chấm bởi cùng một số người đánh giá, hãy dùng kappa Fleiss. Một số nghiên cứu với một nhóm người đánh giá cố định thay vào đó lấy trung bình kappa Cohen của mọi cặp người đánh giá (kappa Light).