Kalkulator Kappa Fleiss
Ukur kesepakatan di antara tiga penilai atau lebih yang mengelompokkan subjek ke dalam kategori. Tempel tabel subjek × kategori berisi jumlah — atau penilaian mentah, satu baris per subjek — dan dapatkan kappa Fleiss, kesepakatan teramati dan kesepakatan kebetulan, uji z, serta kappa untuk setiap kategori, dengan pengerjaannya ditampilkan. Gratis, tanpa perlu mendaftar, dan sepenuhnya berjalan di peramban Anda.
Setiap sel adalah berapa penilai yang memasukkan subjek itu ke kategori tersebut, sehingga setiap baris berjumlah sama dengan jumlah penilai. Nama subjek di kolom pertama dan nama kategori di baris header bersifat opsional.
Tempel tabel jumlah, atau satu baris penilaian per subjek, untuk melihat kappa Fleiss.
Cara Menggunakan Kalkulator Kappa Fleiss
- 1. Pilih format data. Jumlah per kategori memakai satu baris per subjek dan satu kolom per kategori, setiap sel menyatakan berapa penilai yang memilih kategori tersebut. Satu penilaian per sel memakai data mentah — satu baris per subjek, satu kolom per penilai — dan menghitungnya untuk Anda.
- 2. Tempel datanya. Salin langsung dari spreadsheet. Nama subjek di kolom pertama dan nama kategori di baris header bersifat opsional. Pada tabel jumlah, setiap baris harus berjumlah sama dengan jumlah penilai; baris yang tidak sesuai akan disorot.
- 3. Periksa tabelnya. Kalkulator menampilkan jumlah yang akan dipakainya, dengan total setiap subjek di kolom n, sebelum memberikan hasil apa pun.
- 4. Baca hasilnya. Anda mendapatkan κ Fleiss, rata-rata kesepakatan teramati P̄, kesepakatan kebetulan P̄ₑ, uji z terhadap κ = 0, dan κ untuk setiap kategori. Salin baris gaya APA untuk tulisan Anda.
Rumus Kappa Fleiss
Fleiss (1971) memperluas kappa ke sejumlah penilai berapa pun. Misalkan N subjek masing-masing dinilai oleh n penilai ke dalam k kategori, dan nᵢⱼ penilai memasukkan subjek i ke kategori j. Kesepakatan dalam satu subjek adalah proporsi pasangan penilai yang sepakat:
Rumus
Pᵢ = (Σⱼ nᵢⱼ² − n) / (n(n − 1))
P̄ = (1/N) Σᵢ Pᵢ P̄ₑ = Σⱼ pⱼ² κ = (P̄ − P̄ₑ) / (1 − P̄ₑ)
- P̄ — rata-rata kesepakatan antarsubjek.
- pⱼ — proporsi dari seluruh N × n penilaian yang jatuh ke kategori j.
- P̄ₑ — kesepakatan yang diharapkan jika penilai memilih kategori secara acak menurut proporsi keseluruhan tersebut.
- κ — kesepakatan di atas kebetulan, diskalakan sehingga 1 berarti sempurna dan 0 berarti tingkat kebetulan.
Kalkulator juga memberikan κⱼ untuk setiap kategori, yang membandingkan kategori tersebut dengan semua kategori lain digabung, dan uji z terhadap κ = 0 menggunakan galat baku dari Fleiss, Nee dan Landis (1979). Galat baku itu diturunkan di bawah hipotesis nol, sehingga valid untuk uji tetapi tidak untuk interval kepercayaan. Untuk interval, lakukan bootstrap pada subjek.
Contoh Kasus: Empat Pengode, Sepuluh Unggahan
Empat pengode mengklasifikasikan sepuluh unggahan media sosial sebagai Positif, Netral, atau Negatif. Tekan Muat contoh untuk memasukkan jumlahnya:
| Unggahan | Positif | Netral | Negatif | Pᵢ |
|---|---|---|---|---|
| 1 | 4 | 0 | 0 | 1,000 |
| 2 | 3 | 1 | 0 | 0,500 |
| 3 | 0 | 4 | 0 | 1,000 |
| 4 | 0 | 3 | 1 | 0,500 |
| 5 | 1 | 1 | 2 | 0,167 |
| 6 | 0 | 0 | 4 | 1,000 |
| 7 | 2 | 2 | 0 | 0,333 |
| 8 | 0 | 1 | 3 | 0,500 |
| 9 | 4 | 0 | 0 | 1,000 |
| 10 | 0 | 4 | 0 | 1,000 |
Untuk unggahan 2, Pᵢ = (3² + 1² + 0² − 4) / (4 × 3) = 6 / 12 = 0,500. Kesepuluh nilai itu rata-ratanya P̄ = 0,700. Keempat puluh penilaian terbagi menjadi 14 Positif, 16 Netral, dan 10 Negatif, sehingga pⱼ = 0,35, 0,40, dan 0,25, dan P̄ₑ = 0,35² + 0,40² + 0,25² = 0,345. Maka κ = (0,700 − 0,345) / (1 − 0,345) = 0,542, kesepakatan sedang menurut patokan Landis dan Koch. Dengan SE₀ = 0,0922, z = 5,88 dan p < ,001.
Kappa per kategori menunjukkan letak ketidaksepakatan: Positif κ = 0,634, Negatif κ = 0,556, dan Netral κ = 0,444. Netral adalah kategori yang paling sulit diterapkan secara konsisten oleh para pengode — isyarat untuk mempertajam definisinya dalam buku kode sebelum mengode seluruh sampel.
Menafsirkan dan Melaporkan Kappa Fleiss
Kappa Fleiss biasanya dibaca dengan patokan Landis dan Koch (1977): 0,21–0,40 rendah, 0,41–0,60 sedang, 0,61–0,80 substansial, dan di atas 0,80 hampir sempurna. Seperti kappa Cohen, batasnya adalah konvensi, dan kappa tertekan ketika satu kategori mendominasi penilaian meskipun kesepakatannya tinggi. Laporkan κ bersama jumlah subjek, penilai, dan kategori, serta kappa per kategori bila berbeda.
Dalam gaya APA: "Kesepakatan di antara keempat pengode sedang, Fleiss' κ = ,54, z = 5,88, p < ,001 (10 subjek, masing-masing 4 penilai)." Kappa tidak dapat melebihi 1, sehingga angka nol di depan dihilangkan.
Asumsi dan Kesalahan Umum
- Jumlah penilaian yang tidak sama. Setiap subjek perlu memiliki jumlah penilai yang sama. Subjek dengan penilaian yang hilang harus dibuang, atau gunakan alfa Krippendorff yang memperbolehkannya.
- Kategori berurutan. Kappa Fleiss memperlakukan kategori sebagai tanpa urutan, sehingga meleset tipis dihitung sama dengan meleset jauh. Untuk penilaian berurutan, pertimbangkan korelasi intraclass.
- Baris yang tidak berjumlah benar. Dalam format jumlah, sebuah baris adalah berapa penilai yang memilih setiap kategori, bukan siapa yang memilihnya, sehingga setiap baris harus berjumlah n.
- Membaca uji z sebagai ukuran kekuatan. Nilai p yang sangat kecil hanya berarti kesepakatan mengalahkan kebetulan; besarnya κ yang menunjukkan seberapa baik para penilai sepakat.
- Mengharapkan kappa Cohen dengan dua penilai. Dengan dua penilai, kappa Fleiss sama dengan pi Scott, yang bisa sedikit berbeda dari kappa Cohen.
Pertanyaan yang Sering Diajukan
- Apa perbedaan kappa Fleiss dan kappa Cohen?
- Kappa Cohen mengukur kesepakatan antara tepat dua penilai dan memakai proporsi kategori milik setiap penilai untuk memperkirakan kebetulan. Kappa Fleiss menangani penilai dalam jumlah berapa pun dan menggabungkan semua penilaian untuk memperkirakan kebetulan. Dengan dua penilai, kappa Fleiss menjadi pi Scott, bukan kappa Cohen, sehingga keduanya bisa sedikit berbeda.
- Apakah penilai yang sama harus menilai setiap subjek?
- Tidak. Kappa Fleiss hanya memerlukan setiap subjek menerima jumlah penilaian yang sama; orang yang berbeda boleh memberikannya. Ini cocok untuk desain ketika, misalnya, tiga dari dua puluh peninjau mana pun mengode setiap dokumen. Jika satu panel tetap menilai semuanya, kappa Fleiss tetap bekerja, meskipun sebagian peneliti lebih suka merata-ratakan kappa Cohen dari setiap pasangan penilai.
- Berapa nilai kappa Fleiss yang baik?
- Menurut patokan Landis dan Koch (1977), 0,41–0,60 sedang, 0,61–0,80 substansial, dan 0,81–1,00 hampir sempurna. Label itu adalah konvensi, bukan uji, dan yang dapat diterima bergantung pada bagaimana penilaian akan dipakai. Laporkan nilainya bersama konteksnya — subjek, penilai, kategori — bukan labelnya saja.
- Mengapa kalkulator tidak memberikan interval kepercayaan untuk kappa Fleiss?
- Galat baku yang diturunkan Fleiss, Nee dan Landis (1979) mengasumsikan κ = 0, sehingga benar untuk menguji apakah kesepakatan mengalahkan kebetulan, tetapi terlalu kecil atau terlalu besar untuk membangun interval di sekitar kappa yang tidak nol. Bootstrap pada subjek — ambil ulang baris secara acak, hitung ulang κ, ambil persentil ke-2,5 dan ke-97,5 — memberikan interval yang dapat dipertanggungjawabkan.
- Bisakah saya memakai kappa Fleiss untuk penilaian ordinal?
- Bisa, tetapi ia mengabaikan urutan: menilai subjek 1 alih-alih 2 dihitung sebagai ketidaksepakatan yang sama dengan menilainya 1 alih-alih 5. Untuk skala berurutan, korelasi intraclass atau alfa Krippendorff dengan metrik ordinal memanfaatkan informasi itu.
- Apa yang harus saya lakukan jika sebagian subjek memiliki penilaian yang hilang?
- Kappa Fleiss mensyaratkan jumlah penilaian yang sama per subjek. Dalam format penilaian mentah, kalkulator menyimpan subjek dengan jumlah penilaian yang paling umum dan memberi tahu Anda berapa yang dibuang. Jika banyak subjek tidak lengkap, alfa Krippendorff dirancang untuk penilaian yang hilang.