Kalkulator Kappa Cohen

Cara Menggunakan Kalkulator Kappa Cohen

1. 1. Pilih format data Anda. Gunakan Tabel kesepakatan jika Anda sudah memiliki jumlah — kategori penilai A di sisi kiri, kategori penilai B di bagian atas. Gunakan Dua kolom penilaian jika Anda memiliki satu baris per subjek dengan label dari masing-masing penilai.
2. 2. Tempelkan data. Salin langsung dari spreadsheet atau ketik dengan tab, koma, atau spasi. Nama kategori dalam baris judul bersifat opsional. Kalkulator menampilkan tabel kesepakatan yang dibangunnya, dengan total baris dan kolom, sehingga Anda dapat memeriksanya.
3. 3. Atur urutan kategori untuk penilaian ordinal. Kappa berbobot memperlakukan kategori sebagai berurutan dari rendah ke tinggi. Kode angka diurutkan secara otomatis; untuk kata seperti Gagal, Lulus, dan Baik, ketik urutannya di kotak.
4. 4. Baca kappa dan intervalnya. Anda mendapatkan κ, interval kepercayaan 95%, kesepakatan teramati dan karena kebetulan, serta uji z untuk κ = 0. Dengan tiga kategori atau lebih, sebuah tabel menambahkan kappa berbobot linear dan kuadratik. Salin baris gaya APA ketika Anda sudah selesai.

Rumus Kappa Cohen

Kappa membandingkan kesepakatan yang benar-benar dicapai kedua penilai dengan kesepakatan yang akan mereka capai karena kebetulan, jika keduanya menetapkan kategori secara independen sesuai proporsi yang masing-masing amati:

• pₒ — kesepakatan teramati: proporsi subjek yang keduanya ditempatkan dalam kategori yang sama (diagonal tabel dibagi n).
• pₑ — kesepakatan karena kebetulan: Σ (total baris × total kolom) / n², kesepakatan yang diharapkan jika setiap penilai mempertahankan proporsi kategorinya sendiri tetapi memilih secara independen.
• κ = 1 berarti kesepakatan sempurna, κ = 0 berarti kesepakatan tidak lebih baik daripada kebetulan, dan nilai negatif berarti kesepakatannya lebih rendah daripada kebetulan.

Kappa berbobot memberi kredit parsial untuk kesalahan kecil pada skala berurutan: κw = (pₒ(w) − pₑ(w)) / (1 − pₑ(w)), dengan setiap sel dikalikan bobot kesepakatan. Bobot linear (Cicchetti–Allison) adalah w = 1 − |i − j| / (k − 1); bobot kuadratik (Fleiss–Cohen) adalah w = 1 − (i − j)² / (k − 1)². Dengan bobot kuadratik, kappa berkaitan erat dengan korelasi intrakelas.

Interval kepercayaan 95% adalah κ ± 1,96 × SE, menggunakan galat baku sampel besar dari Fleiss, Cohen dan Everitt (1969); uji z untuk κ = 0 memakai galat baku kedua yang dihitung di bawah hipotesis nol tersebut. Keduanya bersifat asimtotik, jadi anggaplah sebagai pendekatan pada sampel kecil. Ini adalah rumus yang dipakai SAS PROC FREQ, dan kalkulator ini mereproduksi contoh terdokumentasinya hingga empat desimal.

Contoh Kasus: Dua Guru Menilai 50 Esai

Dua guru masing-masing menilai 50 esai yang sama sebagai Rendah, Sedang, atau Tinggi. Tekan Muat contoh dalam mode tabel untuk memasukkan jumlah mereka:

Kedua guru sepakat pada 14 + 13 + 11 = 38 esai, sehingga pₒ = 38 / 50 = 0,76. Kesepakatan karena kebetulan adalah pₑ = (18 × 16 + 19 × 18 + 13 × 16) / 50² = 838 / 2.500 = 0,3352. Maka κ = (0,76 − 0,3352) / (1 − 0,3352) = 0,639, dengan SE = 0,091, 95% CI [0,461; 0,817], dan z = 6,41, p < 0,001. Dengan marginal ini, kappa maksimum yang mungkin adalah 0,910, jadi yang menahan kappa di sini bukan batas atas itu — melainkan 12 ketidaksepakatan.

Kappa berbobot lebih tinggi karena 11 dari 12 ketidaksepakatan hanya berselisih satu kategori. Karena Rendah, Sedang, dan Tinggi berurutan, kappa berbobot merupakan ringkasan yang wajar di sini; untuk kategori tanpa urutan, seperti diagnosis, hanya nilai tanpa bobot yang masuk akal.

Cara Menafsirkan dan Melaporkan Kappa

Landis dan Koch menggambarkan pembagian mereka sebagai sewenang-wenang, dan penulis lain memakai batas yang lebih ketat, jadi laporkan angkanya beserta intervalnya, bukan label saja. Kappa juga bergantung pada marginal. Ketika satu kategori sangat umum, kesepakatan karena kebetulan menjadi tinggi dan kappa bisa rendah meskipun kedua penilai sepakat pada sebagian besar subjek — "paradoks kappa" yang dijelaskan oleh Feinstein dan Cicchetti (1990). Melaporkan pₒ, pₑ, dan kappa maksimum yang mungkin bersama κ membantu pembaca memahami penyebabnya.

Contoh laporan gaya APA: "Kesepakatan antara kedua guru tergolong substansial, Cohen's κ = .64, 95% CI [.46, .82], z = 6.41, p < .001 (n = 50)." Kappa tidak bisa melebihi 1, sehingga gaya APA menghilangkan angka nol di depan koma.

Kesalahan Umum

• Melaporkan persen kesepakatan sebagai reliabilitas. Kesepakatan 76% terdengar kuat, tetapi dua guru yang menilai secara independen dengan proporsi masing-masing akan sepakat pada sekitar 34% esai ini karena kebetulan; kappa menghilangkan bagian itu.
• Memberi bobot pada kategori nominal. Kappa berbobot mengasumsikan adanya urutan. Untuk kategori tanpa urutan, gunakan nilai tanpa bobot.
• Tertukar dalam tabel. Baris harus mewakili satu penilai dan kolom mewakili penilai lainnya, dengan kategori yang sama urutannya di kedua sisi, sehingga kesepakatan jatuh pada diagonal.
• Menguji κ = 0 lalu berhenti di situ. Z yang signifikan hanya berarti kesepakatan lebih baik daripada kebetulan — kappa yang lemah bisa sangat signifikan pada sampel besar.

Pertanyaan yang Sering Diajukan

Berapa nilai kappa Cohen yang baik?

Menurut tolok ukur Landis dan Koch (1977), 0,41–0,60 adalah sedang, 0,61–0,80 substansial, dan di atas 0,80 hampir sempurna. Yang dapat diterima bergantung pada taruhannya: penilaian yang menjadi dasar keputusan tentang individu, seperti diagnosis, membutuhkan kesepakatan jauh lebih tinggi daripada pengodean eksplorasi. Karena tolok ukur itu adalah konvensi, laporkan kappa beserta interval kepercayaannya dan bandingkan dengan apa yang dilaporkan studi serupa di bidang Anda.

Apa perbedaan antara kappa Cohen dan persen kesepakatan?

Persen kesepakatan hanyalah pₒ, yaitu proporsi subjek yang diklasifikasikan sama oleh kedua penilai. Kappa mengurangi kesepakatan yang diharapkan karena kebetulan dan menskalakan ulang hasilnya, sehingga 0 berarti kesepakatan setara kebetulan dan 1 berarti kesepakatan sempurna. Dua penilai yang sama-sama memberi label "normal" pada 90% kasus akan sering sepakat karena kebetulan saja, sesuatu yang diberi ganjaran oleh persen kesepakatan tetapi tidak oleh kappa.

Kapan saya harus memakai kappa berbobot, dan bobot yang mana?

Gunakan kappa berbobot ketika kategorinya berurutan, sehingga salah mengira Rendah sebagai Sedang adalah kesalahan yang lebih kecil daripada salah mengira Rendah sebagai Tinggi. Bobot linear menghukum ketidaksepakatan sebanding dengan jarak antarkategori; bobot kuadratik menghukum ketidaksepakatan yang berjauhan lebih berat dan menghasilkan nilai yang mendekati korelasi intrakelas. Sebutkan bobot yang Anda pakai, karena bobot itu mengubah hasilnya.

Mengapa kappa rendah padahal para penilai sering sepakat?

Karena kesepakatan karena kebetulan menjadi tinggi ketika satu kategori mendominasi. Jika kedua penilai sama-sama menyebut 95% kasus negatif, mereka akan sepakat pada sebagian besar kasus meskipun menilai secara acak, sehingga pₑ besar dan ruang di atasnya kecil. Ini adalah paradoks kappa; laporkan pₒ dan pₑ bersama κ, serta kappa maksimum yang mungkin dari kalkulator ini, agar pembaca dapat melihat pengaruh marginal.

Bisakah saya memakai kappa Cohen dengan lebih dari dua penilai?

Tidak — kappa Cohen membandingkan tepat dua penilai. Ketika setiap subjek dinilai oleh jumlah penilai yang sama, gunakan kappa Fleiss. Beberapa studi dengan panel penilai tetap justru merata-ratakan kappa Cohen dari setiap pasangan penilai (kappa Light).