Fleiss'ın Kappa Hesaplayıcı
Denekleri kategorilere ayıran üç ya da daha fazla değerlendirici arasındaki uyumu ölçün. Denek × kategori sayı tablosunu — ya da her denek için bir satır olacak şekilde ham değerlendirmeleri — yapıştırın; Fleiss kappa'yı, gözlenen ve şansa bağlı uyumu, bir z testini ve her kategori için bir kappa'yı, hesap adımlarıyla birlikte alın. Ücretsiz, üyelik gerektirmez; tamamen tarayıcınızda çalışır.
Her hücre, o kategoriyi seçen değerlendirici sayısını gösterir; bu yüzden her satır değerlendirici sayısına toplanır. İlk sütundaki denek adları ve başlık satırındaki kategori adları isteğe bağlıdır.
Fleiss kappa'yı görmek için bir sayı tablosu ya da denek başına bir satır değerlendirme yapıştırın.
Fleiss'ın Kappa Hesaplayıcı Nasıl Kullanılır
- 1. Bir veri biçimi seçin. Kategori başına sayılar, her denek için bir satır ve her kategori için bir sütun alır; her hücre kaç değerlendiricinin o kategoriyi seçtiğini söyler. Hücre başına bir değerlendirme, ham veriyi alır — her denek için bir satır, her değerlendirici için bir sütun — ve sayımı sizin yerinize yapar.
- 2. Veriyi yapıştırın. Doğrudan bir elektronik tablodan kopyalayın. İlk sütundaki denek adları ve bir başlık satırındaki kategori adları isteğe bağlıdır. Sayı tablosunda her satırın toplamı aynı değerlendirici sayısına eşit olmalıdır; eşit olmayanlar vurgulanır.
- 3. Tabloyu kontrol edin. Hesaplayıcı herhangi bir sonuç vermeden önce kullanacağı sayıları gösterir; her denekin toplamı n sütunundadır.
- 4. Sonuçları okuyun. Fleiss κ'yı, ortalama gözlenen uyum P̄'ı, şansa bağlı uyum P̄ₑ'yi, κ = 0 için bir z testini ve her kategori için bir κ'yı alırsınız. Yazınız için APA biçimli satırı kopyalayın.
Fleiss Kappa Formülü
Fleiss (1971), kappa'yı herhangi bir sayıda değerlendiriciye genişletti. Diyelim ki N denek her biri n değerlendirici tarafından k kategoriye ayrılıyor ve nᵢⱼ, i. denek için j. kategoriyi seçen değerlendirici sayısı. Tek bir denek içindeki uyum, uyuşan değerlendirici çiftlerinin payıdır:
Formüller
Pᵢ = (Σⱼ nᵢⱼ² − n) / (n(n − 1))
P̄ = (1/N) Σᵢ Pᵢ P̄ₑ = Σⱼ pⱼ² κ = (P̄ − P̄ₑ) / (1 − P̄ₑ)
- P̄ — denekler arasındaki ortalama uyum.
- pⱼ — tüm N × n değerlendirmenin j. kategoriye düşen payı.
- P̄ₑ — değerlendiriciler kategorileri genel oranlarda rastgele seçseydi beklenen uyum.
- κ — şansın ötesindeki uyum; 1 mükemmel, 0 şans düzeyi olacak biçimde ölçeklenir.
Hesaplayıcı ayrıca her kategori için κⱼ değerini verir; bu, o kategoriyi diğerlerinin tümüne karşı ele alır. Ayrıca Fleiss, Nee ve Landis'in (1979) standart hatasını kullanan bir z testi (κ = 0 için) verir. Bu standart hata sıfır hipotezi altında türetildiği için test için geçerlidir, ancak güven aralığı için geçerli değildir. Bir aralık için denekleri yeniden örnekleyin (bootstrap).
Çalışılmış Örnek: Dört Kodlayıcı, On Gönderi
Dört kodlayıcı on sosyal medya gönderisini Olumlu, Nötr ya da Olumsuz olarak sınıflandırdı. Sayıları girmek için Örneği yükle düğmesine basın:
| Gönderi | Olumlu | Nötr | Olumsuz | Pᵢ |
|---|---|---|---|---|
| 1 | 4 | 0 | 0 | 1,000 |
| 2 | 3 | 1 | 0 | 0,500 |
| 3 | 0 | 4 | 0 | 1,000 |
| 4 | 0 | 3 | 1 | 0,500 |
| 5 | 1 | 1 | 2 | 0,167 |
| 6 | 0 | 0 | 4 | 1,000 |
| 7 | 2 | 2 | 0 | 0,333 |
| 8 | 0 | 1 | 3 | 0,500 |
| 9 | 4 | 0 | 0 | 1,000 |
| 10 | 0 | 4 | 0 | 1,000 |
2. gönderi için Pᵢ = (3² + 1² + 0² − 4) / (4 × 3) = 6 / 12 = 0,500. On değerin ortalaması P̄ = 0,700'dür. 40 değerlendirmenin 14'ü Olumlu, 16'sı Nötr ve 10'u Olumsuz olarak bölünür; bu yüzden pⱼ = 0,35, 0,40 ve 0,25 ve P̄ₑ = 0,35² + 0,40² + 0,25² = 0,345. Sonra κ = (0,700 − 0,345) / (1 − 0,345) = 0,542; Landis ve Koch'un ölçütlerine göre orta düzeyde uyum. SE₀ = 0,0922 ile z = 5,88 ve p < ,001.
Kategori kappaları, kodlayıcıların nerede anlaşmazlığa düştüğünü gösterir: Olumlu κ = 0,634, Olumsuz κ = 0,556 ve Nötr κ = 0,444. Kodlayıcıların tutarlı biçimde uygulamakta en çok zorlandığı kategori Nötr'dür — tüm örneklemi kodlamadan önce kod kitabındaki tanımını netleştirmek için bir ipucu.
Fleiss Kappa'yı Yorumlama ve Raporlama
Fleiss kappa genellikle Landis ve Koch'un (1977) ölçütlerine göre okunur: 0,21–0,40 makul, 0,41–0,60 orta, 0,61–0,80 önemli ve 0,80'in üzeri neredeyse mükemmel uyum. Cohen'in kappa'sında olduğu gibi, bu eşikler geleneksel kurallardır; bir kategori değerlendirmelerin çoğunu oluşturduğunda uyum yüksek olsa bile kappa düşer. κ'yı denek, değerlendirici ve kategori sayısıyla birlikte raporlayın; kategori kappaları farklılaştığında onları da verin.
APA biçiminde: "Dört kodlayıcı arasındaki uyum orta düzeydeydi, Fleiss κ = ,54, z = 5,88, p < ,001 (10 denek, her biri 4 değerlendirici)." Kappa 1'i aşamaz; bu yüzden baştaki sıfır atılır.
Varsayımlar ve Yaygın Hatalar
- Eşit olmayan sayıda değerlendirme. Her denek aynı sayıda değerlendiriciye sahip olmalıdır. Eksik değerlendirmesi olan denekler çıkarılmalı ya da bunlara izin veren Krippendorff'un alfası kullanılmalıdır.
- Sıralı kategoriler. Fleiss kappa kategorileri sırasız kabul eder; bu yüzden küçük bir kaçırma, geniş bir kaçırma kadar sayılır. Sıralı değerlendirmeler için sınıf içi korelasyonu düşünün.
- Toplamı tutmayan satırlar. Sayı biçiminde bir satır, her kategoriyi seçen değerlendirici sayısıdır, hangilerini seçtikleri değil; bu yüzden her satır n'ye toplanmalıdır.
- z testini güç ölçüsü olarak okumak. Çok küçük bir p değeri yalnızca uyumun şansı geçtiğini söyler; κ'nın büyüklüğü değerlendiricilerin ne kadar iyi uyuştuğunu söyler.
- İki değerlendiriciyle Cohen'in kappa'sını beklemek. İki değerlendiriciyle Fleiss kappa, Scott'ın pi'sine eşittir; bu da Cohen'in kappa'sından hafifçe farklı olabilir.
Sık sorulan sorular
- Fleiss kappa ile Cohen'in kappa'sı arasındaki fark nedir?
- Cohen'in kappa'sı tam olarak iki değerlendirici arasındaki uyumu ölçer ve şansa bağlı uyumu tahmin etmek için her değerlendiricinin kendi kategori oranlarını kullanır. Fleiss kappa herhangi bir sayıda değerlendiriciyi işler ve şansı tahmin etmek için tüm değerlendirmeleri birleştirir. İki değerlendiriciyle Fleiss kappa, Cohen'in kappa'sına değil Scott'ın pi'sine indirgenir; bu yüzden ikisi hafifçe farklı olabilir.
- Aynı değerlendiriciler her denekleri değerlendirmek zorunda mı?
- Hayır. Fleiss kappa yalnızca her denekin aynı sayıda değerlendirme almasını gerektirir; değerlendirmeleri farklı kişiler yapabilir. Örneğin yirmi gözden geçiricinin herhangi üçünün her belgeyi kodladığı tasarımlara uygundur. Sabit bir panel her şeyi değerlendiriyorsa Fleiss kappa yine çalışır, ancak bazı araştırmacılar değerlendiricilerin her çifti üzerinden Cohen'in kappa'sının ortalamasını almayı tercih eder.
- İyi bir Fleiss kappa değeri nedir?
- Landis ve Koch'un (1977) ölçütlerine göre 0,41–0,60 orta, 0,61–0,80 önemli ve 0,81–1,00 neredeyse mükemmel uyumdur. Bu etiketler testlerden çok geleneksel kurallardır; kabul edilebilir olan, değerlendirmelerin nasıl kullanılacağına bağlıdır. Değeri yalnızca etiketiyle değil, bağlamıyla — denekler, değerlendiriciler, kategoriler — birlikte raporlayın.
- Hesaplayıcı neden Fleiss kappa için güven aralığı vermiyor?
- Fleiss, Nee ve Landis'in (1979) türettiği standart hata κ = 0 varsayar; bu nedenle uyumun şansı geçip geçmediğini test etmek için doğrudur, ancak sıfır olmayan bir kappa etrafında aralık kurmak için uygun değildir. Denekler üzerinden bir bootstrap — satırları yeniden örnekleyin, κ'yı yeniden hesaplayın, yüzde 2,5 ve 97,5 değerlerini alın — savunulabilir bir aralık verir.
- Fleiss kappa'yı sıralı değerlendirmeler için kullanabilir miyim?
- Kullanabilirsiniz, ancak sırayı yok sayar: bir denek 2 yerine 1 olarak değerlendirilmesi, 5 yerine 1 olarak değerlendirilmesiyle aynı anlaşmazlık sayılır. Sıralı ölçekler için bu bilgiyi kullanan bir sınıf içi korelasyon ya da sıralı bir metrikle Krippendorff'un alfası daha uygundur.
- Bazı deneklerin eksik değerlendirmeleri varsa ne yapmalıyım?
- Fleiss kappa her denek için aynı sayıda değerlendirme gerektirir. Ham değerlendirme biçiminde hesaplayıcı en yaygın değerlendirme sayısına sahip denekleri tutar ve kaç denek bıraktığını söyler. Birçok denek eksikse, Krippendorff'un alfası eksik değerlendirmeler için tasarlanmıştır.