Công Cụ Tính Kappa Fleiss
Đo độ đồng thuận giữa ba người đánh giá trở lên khi họ phân loại đối tượng vào các danh mục. Dán bảng số đếm đối tượng × danh mục — hoặc đánh giá thô, mỗi dòng một đối tượng — rồi nhận kappa Fleiss, độ đồng thuận quan sát và độ đồng thuận do ngẫu nhiên, kiểm định z, và kappa cho từng danh mục, với phần tính toán được hiển thị. Miễn phí, không cần đăng ký, và chạy hoàn toàn trong trình duyệt của bạn.
Mỗi ô là số người đánh giá đã xếp đối tượng đó vào danh mục ấy, nên mọi dòng đều cộng lại bằng số người đánh giá. Tên đối tượng ở cột đầu và tên danh mục ở dòng tiêu đề là tùy chọn.
Dán một bảng số đếm, hoặc một dòng đánh giá cho mỗi đối tượng, để xem kappa Fleiss.
Cách Sử Dụng Công Cụ Tính Kappa Fleiss
- 1. Chọn định dạng dữ liệu. Số đếm theo danh mục nhận một dòng cho mỗi đối tượng và một cột cho mỗi danh mục, mỗi ô cho biết có bao nhiêu người đánh giá đã chọn danh mục đó. Một đánh giá mỗi ô nhận dữ liệu thô — một dòng cho mỗi đối tượng, một cột cho mỗi người đánh giá — và tự đếm cho bạn.
- 2. Dán dữ liệu. Sao chép thẳng từ bảng tính. Tên đối tượng ở cột đầu tiên và tên danh mục ở dòng tiêu đề là tùy chọn. Trong bảng số đếm, mọi dòng phải có cùng tổng số người đánh giá; những dòng không đạt sẽ được tô sáng.
- 3. Kiểm tra bảng. Công cụ hiển thị các số đếm sẽ dùng, với tổng của mỗi đối tượng trong cột n, trước khi đưa ra bất kỳ kết quả nào.
- 4. Đọc kết quả. Bạn nhận được κ Fleiss, độ đồng thuận quan sát trung bình P̄, độ đồng thuận do ngẫu nhiên P̄ₑ, kiểm định z của κ = 0, và κ cho từng danh mục. Sao chép dòng theo kiểu APA để đưa vào bài viết của bạn.
Công Thức Kappa Fleiss
Fleiss (1971) mở rộng kappa cho bất kỳ số người đánh giá nào. Giả sử N đối tượng, mỗi đối tượng được n người đánh giá xếp vào k danh mục, và nᵢⱼ người đánh giá xếp đối tượng i vào danh mục j. Độ đồng thuận trong một đối tượng là tỷ lệ các cặp người đánh giá đồng ý:
Công thức
Pᵢ = (Σⱼ nᵢⱼ² − n) / (n(n − 1))
P̄ = (1/N) Σᵢ Pᵢ P̄ₑ = Σⱼ pⱼ² κ = (P̄ − P̄ₑ) / (1 − P̄ₑ)
- P̄ — độ đồng thuận trung bình giữa các đối tượng.
- pⱼ — tỷ lệ của tất cả N × n đánh giá rơi vào danh mục j.
- P̄ₑ — độ đồng thuận kỳ vọng nếu người đánh giá chọn danh mục ngẫu nhiên theo các tỷ lệ tổng thể đó.
- κ — độ đồng thuận vượt quá mức ngẫu nhiên, được chia tỷ lệ sao cho 1 là hoàn hảo và 0 là mức ngẫu nhiên.
Công cụ cũng đưa ra κⱼ cho từng danh mục, coi danh mục đó đối lập với tất cả các danh mục khác gộp lại, và một kiểm định z của κ = 0 dùng sai số chuẩn của Fleiss, Nee và Landis (1979). Sai số chuẩn đó được suy ra dưới giả thuyết không, nên nó đúng cho kiểm định nhưng không đúng cho khoảng tin cậy. Với một khoảng, hãy bootstrap theo đối tượng.
Ví Dụ Minh Họa: Bốn Người Mã Hóa, Mười Bài Đăng
Bốn người mã hóa phân loại mười bài đăng trên mạng xã hội thành Tích cực, Trung lập hoặc Tiêu cực. Bấm Tải ví dụ để nhập các số đếm:
| Bài | Tích cực | Trung lập | Tiêu cực | Pᵢ |
|---|---|---|---|---|
| 1 | 4 | 0 | 0 | 1,000 |
| 2 | 3 | 1 | 0 | 0,500 |
| 3 | 0 | 4 | 0 | 1,000 |
| 4 | 0 | 3 | 1 | 0,500 |
| 5 | 1 | 1 | 2 | 0,167 |
| 6 | 0 | 0 | 4 | 1,000 |
| 7 | 2 | 2 | 0 | 0,333 |
| 8 | 0 | 1 | 3 | 0,500 |
| 9 | 4 | 0 | 0 | 1,000 |
| 10 | 0 | 4 | 0 | 1,000 |
Với bài 2, Pᵢ = (3² + 1² + 0² − 4) / (4 × 3) = 6 / 12 = 0,500. Mười giá trị này có trung bình P̄ = 0,700. Bốn mươi đánh giá chia thành 14 Tích cực, 16 Trung lập và 10 Tiêu cực, nên pⱼ = 0,35, 0,40 và 0,25, và P̄ₑ = 0,35² + 0,40² + 0,25² = 0,345. Khi đó κ = (0,700 − 0,345) / (1 − 0,345) = 0,542, độ đồng thuận vừa phải theo thang của Landis và Koch. Với SE₀ = 0,0922, z = 5,88 và p < 0,001.
Các κ theo danh mục cho thấy những người mã hóa bất đồng ở đâu: Tích cực κ = 0,634, Tiêu cực κ = 0,556 và Trung lập κ = 0,444. Trung lập là danh mục mà người mã hóa thấy khó áp dụng nhất một cách nhất quán — một tín hiệu để làm rõ định nghĩa của nó trong sổ mã hóa trước khi mã hóa toàn bộ mẫu.
Diễn Giải và Báo Cáo Kappa Fleiss
Kappa Fleiss thường được đọc theo các mốc chuẩn của Landis và Koch (1977): 0,21–0,40 là trung bình thấp, 0,41–0,60 là vừa phải, 0,61–0,80 là đáng kể, và trên 0,80 là gần như hoàn hảo. Như với kappa Cohen, các ngưỡng này là quy ước, và kappa bị kéo xuống khi một danh mục chiếm ưu thế trong các đánh giá ngay cả khi độ đồng thuận cao. Hãy báo cáo κ cùng số đối tượng, số người đánh giá và số danh mục, và báo cáo kappa theo danh mục khi chúng khác nhau.
Theo APA, dòng báo cáo mẫu là: "Agreement among the four coders was moderate, Fleiss' κ = .54, z = 5.88, p < .001 (10 subjects, 4 raters each)." Vì kappa không thể vượt quá 1, theo quy tắc APA, số 0 đứng trước dấu thập phân bị bỏ đi.
Giả Định và Lỗi Thường Gặp
- Số đánh giá không bằng nhau. Mọi đối tượng cần cùng số người đánh giá. Các đối tượng thiếu đánh giá phải bị loại bỏ, hoặc dùng alpha của Krippendorff, cho phép thiếu.
- Danh mục có thứ tự. Kappa Fleiss coi danh mục là không có thứ tự, nên một lần gần đúng được tính như một lần sai xa. Với đánh giá có thứ tự, hãy cân nhắc hệ số tương quan nội lớp.
- Các hàng không cộng lại đúng. Trong định dạng số đếm, một hàng là số người đánh giá đã chọn mỗi danh mục, không phải là ai đã chọn, nên mỗi hàng phải có tổng bằng n.
- Đọc kiểm định z như thước đo độ mạnh. Giá trị p rất nhỏ chỉ cho biết độ đồng thuận vượt mức ngẫu nhiên; độ lớn của κ mới cho biết những người đánh giá đồng ý tốt đến đâu.
- Mong đợi kappa Cohen với hai người đánh giá. Với hai người đánh giá, kappa Fleiss bằng pi của Scott, có thể khác một chút so với kappa Cohen.
Câu Hỏi Thường Gặp
- Khác nhau giữa kappa Fleiss và kappa Cohen là gì?
- Kappa Cohen đo độ đồng thuận giữa đúng hai người đánh giá và dùng tỷ lệ danh mục của riêng mỗi người đánh giá để ước lượng độ đồng thuận do ngẫu nhiên. Kappa Fleiss xử lý bất kỳ số người đánh giá nào và gộp mọi đánh giá để ước lượng yếu tố ngẫu nhiên. Với hai người đánh giá, kappa Fleiss quy về pi của Scott chứ không về kappa Cohen, nên hai giá trị có thể khác nhau một chút.
- Những người đánh giá có phải cùng chấm mọi đối tượng không?
- Không. Kappa Fleiss chỉ cần mỗi đối tượng nhận cùng số đánh giá; những người khác nhau vẫn có thể cung cấp chúng. Điều đó phù hợp với thiết kế mà, chẳng hạn, bất kỳ ba trong hai mươi người duyệt đều mã hóa mỗi tài liệu. Nếu một hội đồng cố định chấm tất cả, kappa Fleiss vẫn dùng được, dù một số nhà nghiên cứu thích lấy trung bình kappa Cohen trên mọi cặp người đánh giá hơn.
- Giá trị kappa Fleiss tốt là bao nhiêu?
- Theo các mốc của Landis và Koch (1977), 0,41–0,60 là vừa phải, 0,61–0,80 là đáng kể và 0,81–1,00 là gần như hoàn hảo. Những nhãn đó là quy ước chứ không phải kiểm định, và điều chấp nhận được phụ thuộc vào cách các đánh giá sẽ được dùng. Hãy báo cáo giá trị cùng bối cảnh — đối tượng, người đánh giá, danh mục — chứ không chỉ nhãn.
- Vì sao công cụ không đưa ra khoảng tin cậy cho kappa Fleiss?
- Sai số chuẩn mà Fleiss, Nee và Landis (1979) suy ra giả định κ = 0, nên nó đúng để kiểm định xem độ đồng thuận có vượt mức ngẫu nhiên hay không, nhưng quá nhỏ hoặc quá lớn để dựng khoảng quanh một kappa khác 0. Bootstrap theo đối tượng — lấy mẫu lại các hàng, tính lại κ, lấy phân vị 2,5 và 97,5 — cho một khoảng có thể bảo vệ được.
- Tôi có thể dùng kappa Fleiss cho đánh giá có thứ tự không?
- Có thể, nhưng nó bỏ qua thứ tự: đánh giá một đối tượng là 1 thay vì 2 được tính là cùng mức bất đồng với đánh giá nó là 1 thay vì 5. Với thang có thứ tự, hệ số tương quan nội lớp hoặc alpha của Krippendorff với thước đo thứ tự sẽ tận dụng được thông tin đó.
- Tôi nên làm gì nếu một số đối tượng thiếu đánh giá?
- Kappa Fleiss yêu cầu mỗi đối tượng có cùng số đánh giá. Ở định dạng đánh giá thô, công cụ giữ các đối tượng có số đánh giá phổ biến nhất và cho bạn biết đã bỏ bao nhiêu. Nếu nhiều đối tượng không đầy đủ, alpha của Krippendorff được thiết kế để xử lý đánh giá thiếu.