Cohen'in Kappa Hesaplayıcı

Cohen'in Kappa Hesaplayıcı Nasıl Kullanılır

1. 1. Veri biçimini seçin. Zaten sayımlarınız varsa Uyum tablosu seçin: A değerlendiricisinin kategorileri solda, B değerlendiricisinin kategorileri üstte. Her özne için bir satır ve her değerlendiricinin etiketi varsa Derecelendirmelerin iki sütunu seçin.
2. 2. Veriyi yapıştırın. Bir elektronik tablodan doğrudan kopyalayın ya da sekme, virgül veya boşlukla yazın. İlk satır ve sütundaki kategori adları isteğe bağlıdır. Hesaplayıcı, oluşturduğu uyum tablosunu satır ve sütun toplamlarıyla birlikte gösterir; böylece kontrol edebilirsiniz.
3. 3. Sıralı derecelendirmeler için kategori sırasını belirleyin. Ağırlıklı kappa kategorileri düşükten yükseğe sıralı kabul eder. Sayısal kodlar otomatik sıralanır; Fail, Pass ve Merit gibi sözcükler için sırayı kutuya yazın.
4. 4. Kappayı ve aralığını okuyun. κ, %95 güven aralığı, gözlenen ve şansa bağlı uyum ile κ = 0 için bir z testi elde edersiniz. Üç veya daha fazla kategoriyle bir tablo, doğrusal ve karesel ağırlıklı kappayı da ekler. İşiniz bittiğinde APA biçiminde sonuç satırını kopyalayın.

Cohen'in Kappa Formülü

Kappa, iki değerlendiricinin gerçekte ulaştığı uyumu, her birinin kendi gözlenen oranlarında kategorileri bağımsız olarak atamasıyla şansa bağlı ulaşacağı uyumla karşılaştırır:

• pₒ — gözlenen uyum: her iki değerlendiricinin aynı kategoriye koyduğu öznelerin payı (tablonun köşegeni bölü n).
• pₑ — şansa bağlı uyum: Σ (satır toplamı × sütun toplamı) / n². Her değerlendiricinin kendi kategori oranlarını koruyup bağımsız seçim yapması durumunda beklenen uyumdur.
• κ = 1 mükemmel uyum, κ = 0 şansın ötesinde bir uyum olmadığı, negatif değerler ise şansın gerisinde bir uyum anlamına gelir.

Ağırlıklı kappa, sıralı bir ölçekte yakın ıskalamalara kısmi puan verir: κw = (pₒ(w) − pₑ(w)) / (1 − pₑ(w)); burada her hücre bir uyum ağırlığıyla çarpılır. Doğrusal (Cicchetti–Allison) ağırlıklar w = 1 − |i − j| / (k − 1); karesel (Fleiss–Cohen) ağırlıklar w = 1 − (i − j)² / (k − 1)². Karesel ağırlıklarla kappa, sınıf içi korelasyonla yakından ilişkilidir.

%95 güven aralığı κ ± 1,96 × SE'dir; SE, Fleiss, Cohen ve Everitt'in (1969) büyük örneklem standart hatasıdır. κ = 0 için z testi, bu boş hipotez altında hesaplanan ikinci bir standart hata kullanır. İkisi de asimptotiktir; bu yüzden küçük örneklemlerde yaklaşık kabul edin. Bunlar SAS PROC FREQ'in kullandığı formüllerdir ve hesaplayıcı belgelenmiş örneklerini dört ondalık basamağa kadar yeniden üretir.

Çalışılmış Örnek: İki Öğretmenin 50 Denemeyi Notlandırması

İki öğretmen aynı 50 denemeyi Düşük, Orta veya Yüksek olarak derecelendirdi. Tablo modunda sayımlarını girmek için Örneği yükle düğmesine basın:

Öğretmenler 14 + 13 + 11 = 38 denemede uyuşuyor; bu yüzden pₒ = 38 / 50 = 0,76. Şansa bağlı uyum pₑ = (18 × 16 + 19 × 18 + 13 × 16) / 50² = 838 / 2.500 = 0,3352. Sonra κ = (0,76 − 0,3352) / (1 − 0,3352) = 0,639, SE = 0,091, %95 GA [0,461, 0,817] ve z = 6,41, p < ,001. Bu marjinallerle en büyük olası kappa 0,910'dır; yani burada kappayı aşağı çeken tavan değil, 12 uyumsuzluktur.

Ağırlıklı kappalar daha yüksektir, çünkü 12 uyumsuzluğun 11'i yalnızca bir kategori uzaklıktadır. Düşük, Orta ve Yüksek sıralı olduğu için burada ağırlıklı kappa adil bir özettir; diyagnozlar gibi sırasız kategoriler için yalnızca ağırlıksız değer anlamlıdır.

Kappayı Yorumlama ve Raporlama

Landis ve Koch bölümlerini keyfi olarak tanımladı; diğer yazarlar daha katı sınırlar kullanır. Bu yüzden κ'yı yalnızca etiketiyle değil, sayısı ve aralığıyla birlikte verin. Kappa ayrıca marjinallere bağlıdır. Bir kategori çok yaygın olduğunda şansa bağlı uyum yüksek olur ve değerlendiriciler öznelerin çoğu üzerinde anlaşsa bile kappa düşük çıkabilir — Feinstein ve Cicchetti'nin (1990) tarif ettiği “kappa paradoksu”. pₒ, pₑ ve ulaşılabilir en büyük kappayı κ ile birlikte raporlamak, okuyucunun nedenini görmesine yardımcı olur.

Örneğin APA biçiminde bir rapor: "İki öğretmen arasındaki uyum yüksekti, Cohen'in κ = ,64, %95 GA [,46, ,82], z = 6,41, p < ,001 (n = 50)." Kappa 1'i aşamayacağı için APA biçimi, 1'i aşamayan değerlerin başındaki sıfırı düşürür.

Sık Yapılan Hatalar

• Yüzde uyumu güvenilirlik olarak raporlamak. %76 uyum güçlü görünebilir; ancak iki öğretmen bağımsız ve kendi oranlarında notlandırsaydı, bu denemelerin yaklaşık %34'ünde şansla uyuşacaklardı. Kappa bu payı çıkarır.
• Nominal kategorileri ağırlıklandırmak. Ağırlıklı kappa bir sıra varsayar. Sırası olmayan kategoriler için ağırlıksız değeri kullanın.
• Tabloyu karıştırmak. Satırlar bir değerlendirici, sütunlar diğeri olmalıdır ve kategoriler iki tarafta aynı sırada olmalıdır ki uyumlar köşegene düşsün.
• κ = 0'ı test edip orada durmak. Anlamlı bir z yalnızca uyumun şansı aştığını söyler; büyük bir örneklemde zayıf bir kappa bile çok anlamlı olabilir.

Sık sorulan sorular

İyi bir Cohen'in kappa değeri nedir?

Landis ve Koch'un (1977) ölçütlerine göre 0,41–0,60 orta, 0,61–0,80 yüksek, 0,80'in üzerindeki değerler neredeyse mükemmeldir. Neyin kabul edilebilir olduğu bahislere bağlıdır: teşhis gibi bireyler hakkında karar veren derecelendirmeler, keşifsel kodlamadan çok daha yüksek uyum gerektirir. Ölçütler birer sözleşme olduğu için kappayı güven aralığıyla raporlayın ve alanınızdaki benzer çalışmaların bildirdiği değerlerle karşılaştırın.

Cohen'in kappası ile yüzde uyum arasındaki fark nedir?

Yüzde uyum basitçe pₒ'dır: değerlendiricilerin aynı biçimde sınıflandırdığı öznelerin payı. Kappa, şansa bağlı beklenen uyumu çıkarır ve sonucu yeniden ölçekler; böylece 0 şansa eşit bir uyumu, 1 ise mükemmel uyumu gösterir. Vakaların %90'ını "normal" olarak etiketleyen iki değerlendirici, sık sık yalnızca şans yüzünden uyuşacaktır; yüzde uyum bunu ödüllendirir, kappa ödüllendirmez.

Ağırlıklı kappayı ne zaman ve hangi ağırlıklarla kullanmalıyım?

Kategoriler sıralı olduğunda kullanın; böylece Düşük ile Orta'yı karıştırmak, Düşük ile Yüksek'i karıştırmaktan daha küçük bir hatadır. Doğrusal ağırlıklar uyumsuzluğu kategoriler arasındaki mesafeyle orantılı olarak cezalandırır; karesel ağırlıklar uzak uyumsuzlukları daha ağır cezalandırır ve sınıf içi korelasyona yakın değerler verir. Hangi ağırlığı kullandığınızı belirtin, çünkü ağırlıklar sonucu değiştirir.

Değerlendiriciler çoğu zaman uyuştuğu halde kappa neden düşük?

Çünkü bir kategori baskın olduğunda şansa bağlı uyum yüksek olur. İki değerlendirici de vakaların %95'ini negatif olarak etiketlerse, rastgele derecelendirseler bile çoğu vakada uyuşurlar; bu yüzden pₑ büyüktür ve üstündeki alan küçüktür. Bu kappa paradoksudur. pₒ ve pₑ'yi κ ile birlikte ve hesaplayıcının ulaşılabilir en büyük kappasını da ekleyerek raporlayın ki okuyucular marjinallerin etkisini görebilsin.

Cohen'in kappasını ikiden fazla değerlendiriciyle kullanabilir miyim?

Hayır. Cohen'in kappası tam olarak iki değerlendiriciyi karşılaştırır. Her özne aynı sayıda değerlendiriciyle derecelendiriliyorsa Fleiss'in kappasını kullanın. Değerlendiricilerin sabit bir panel olduğu bazı çalışmalar bunun yerine her değerlendirici çifti için Cohen'in kappasının ortalamasını alır (Light'ın kappası).