फ़्लीस का कप्पा कैलकुलेटर
तीन या अधिक मूल्यांकनकर्ताओं के बीच सहमति मापें, जो विषयों को श्रेणियों में छाँटते हैं। विषय × श्रेणी गिनतियों की तालिका चिपकाएँ — या कच्ची रेटिंग, हर विषय के लिए एक पंक्ति — और पाएँ फ़्लीस का कप्पा, देखी गई और संयोगवश सहमति, z परीक्षण, और हर श्रेणी के लिए एक कप्पा, गणना के साथ। निःशुल्क, पंजीकरण आवश्यक नहीं, और सब कुछ आपके ब्राउज़र में चलता है।
हर कोशिका बताती है कि कितने मूल्यांकनकर्ताओं ने उस विषय को उस श्रेणी में रखा, इसलिए हर पंक्ति का योग मूल्यांकनकर्ताओं की संख्या के बराबर होता है। पहले स्तंभ में विषयों के नाम और शीर्षक पंक्ति में श्रेणियों के नाम वैकल्पिक हैं।
गिनतियों की तालिका, या हर विषय के लिए रेटिंग की एक पंक्ति चिपकाएँ, ताकि फ़्लीस का कप्पा दिखे।
फ़्लीस का कप्पा कैलकुलेटर का उपयोग कैसे करें
- 1. डेटा का प्रारूप चुनें। श्रेणी के अनुसार गिनतियाँ लेता है: एक पंक्ति प्रति विषय और एक स्तंभ प्रति श्रेणी, जिसमें हर कोशिका बताती है कि कितने मूल्यांकनकर्ताओं ने वह विषय उस श्रेणी में रखा। हर कोशिका में एक रेटिंग कच्चा डेटा लेता है — एक पंक्ति प्रति विषय, एक स्तंभ प्रति मूल्यांकनकर्ता — और उसकी गिनती खुद करता है।
- 2. डेटा चिपकाएँ। सीधे स्प्रेडशीट से कॉपी करें। पहले स्तंभ में विषयों के नाम और शीर्षक पंक्ति में श्रेणियों के नाम वैकल्पिक हैं। गिनतियों की तालिका में हर पंक्ति का योग एक ही मूल्यांकनकर्ता-संख्या के बराबर होना चाहिए; जो नहीं होतीं वे हाइलाइट होती हैं।
- 3. तालिका जाँचें। कैलकुलेटर कोई परिणाम देने से पहले वे गिनतियाँ दिखाता है जिनका वह उपयोग करेगा, और हर विषय का योग n स्तंभ में।
- 4. परिणाम पढ़ें। आपको मिलते हैं फ़्लीस का κ, औसत देखी गई सहमति P̄, संयोगवश सहमति P̄ₑ, κ = 0 का z परीक्षण, और हर श्रेणी के लिए एक κ। अपने लेखन के लिए APA-शैली की पंक्ति कॉपी करें।
फ़्लीस के कप्पा का सूत्र
फ़्लीस (1971) ने कप्पा को किसी भी संख्या के मूल्यांकनकर्ताओं तक बढ़ाया। मान लीजिए N विषयों में से हर एक को n मूल्यांकनकर्ताओं ने k श्रेणियों में आँका, और nᵢⱼ मूल्यांकनकर्ताओं ने विषय i को श्रेणी j में रखा। एक ही विषय के भीतर सहमति उन मूल्यांकनकर्ता-जोड़ियों का हिस्सा है जो सहमत हैं:
सूत्र
Pᵢ = (Σⱼ nᵢⱼ² − n) / (n(n − 1))
P̄ = (1/N) Σᵢ Pᵢ P̄ₑ = Σⱼ pⱼ² κ = (P̄ − P̄ₑ) / (1 − P̄ₑ)
- P̄ — विषयों के बीच औसत सहमति।
- pⱼ — सभी N × n रेटिंग में से वह हिस्सा जो श्रेणी j में गिरा।
- P̄ₑ — वह सहमति जो अपेक्षित होती, अगर मूल्यांकनकर्ता श्रेणियाँ यादृच्छिक रूप से, समग्र अनुपातों में चुनते।
- κ — संयोग से परे सहमति, इस तरह मापी गई कि 1 पूर्ण सहमति हो और 0 संयोग-स्तर।
कैलकुलेटर हर श्रेणी के लिए κⱼ भी देता है, जो उस श्रेणी को बाकी सभी के संयोजन के विरुद्ध लेता है, और फ़्लीस, नी और लैंडिस (1979) की मानक त्रुटि से κ = 0 का z परीक्षण। वह मानक त्रुटि शून्य परिकल्पना के तहत निकाली गई है, इसलिए वह परीक्षण के लिए मान्य है, पर विश्वास अंतराल के लिए नहीं। अंतराल के लिए विषयों पर बूटस्ट्रैप करें।
हल किया गया उदाहरण: चार कोडर, दस पोस्ट
चार कोडरों ने दस सोशल-मीडिया पोस्ट को सकारात्मक, तटस्थ या नकारात्मक में वर्गीकृत किया। गिनतियाँ लोड करने के लिए उदाहरण लोड करें दबाएँ:
| पोस्ट | सकारात्मक | तटस्थ | नकारात्मक | Pᵢ |
|---|---|---|---|---|
| 1 | 4 | 0 | 0 | 1.000 |
| 2 | 3 | 1 | 0 | 0.500 |
| 3 | 0 | 4 | 0 | 1.000 |
| 4 | 0 | 3 | 1 | 0.500 |
| 5 | 1 | 1 | 2 | 0.167 |
| 6 | 0 | 0 | 4 | 1.000 |
| 7 | 2 | 2 | 0 | 0.333 |
| 8 | 0 | 1 | 3 | 0.500 |
| 9 | 4 | 0 | 0 | 1.000 |
| 10 | 0 | 4 | 0 | 1.000 |
पोस्ट 2 के लिए, Pᵢ = (3² + 1² + 0² − 4) / (4 × 3) = 6 / 12 = 0.500। दसों मानों का औसत P̄ = 0.700 है। 40 रेटिंग 14 सकारात्मक, 16 तटस्थ और 10 नकारात्मक में बँटती हैं, इसलिए pⱼ = 0.35, 0.40 और 0.25, और P̄ₑ = 0.35² + 0.40² + 0.25² = 0.345। फिर κ = (0.700 − 0.345) / (1 − 0.345) = 0.542, जो लैंडिस और कोच के मानदंडों पर मध्यम सहमति है। SE₀ = 0.0922 के साथ z = 5.88 और p < .001।
श्रेणी-वार कप्पा दिखाते हैं कि मूल्यांकनकर्ता कहाँ असहमत हैं: सकारात्मक κ = 0.634, नकारात्मक κ = 0.556 और तटस्थ κ = 0.444। तटस्थ वह श्रेणी है जिसे मूल्यांकनकर्ता सबसे कठिनाई से एक-सा लगाते हैं — यह संकेत है कि पूरे नमूने की कोडिंग से पहले कोडबुक में उसकी परिभाषा को और स्पष्ट करें।
फ़्लीस के कप्पा की व्याख्या और रिपोर्टिंग
फ़्लीस का कप्पा आम तौर पर लैंडिस और कोच (1977) के मानदंडों से पढ़ा जाता है: 0.21–0.40 उचित, 0.41–0.60 मध्यम, 0.61–0.80 पर्याप्त, और 0.80 से ऊपर लगभग पूर्ण। कोहेन के कप्पा की तरह, ये सीमाएँ परंपरागत हैं, और जब एक श्रेणी रेटिंग पर हावी हो तो सहमति ऊँची होने पर भी कप्पा नीचे आ जाता है। κ के साथ विषयों, मूल्यांकनकर्ताओं और श्रेणियों की संख्या दें, और जब वे अलग हों तो श्रेणी-वार कप्पा भी।
APA शैली में: "चारों कोडरों के बीच सहमति मध्यम थी, फ़्लीस का κ = .54, z = 5.88, p < .001 (10 विषय, प्रत्येक पर 4 मूल्यांकनकर्ता)।" कप्पा 1 से अधिक नहीं हो सकता, इसलिए आगे का शून्य छोड़ा जाता है।
मान्यताएँ और सामान्य गलतियाँ
- असमान संख्या में रेटिंग। हर विषय को समान संख्या में मूल्यांकनकर्ताओं ने आँकना चाहिए। जिन विषयों में रेटिंग छूटी हो उन्हें हटाना होगा, या क्रिपेंडॉर्फ़ का अल्फ़ा इस्तेमाल करें, जो ऐसी स्थिति की अनुमति देता है।
- क्रमिक श्रेणियाँ। फ़्लीस का कप्पा श्रेणियों को क्रमरहित मानता है, इसलिए एक निकटतम चूक उतनी ही गिनी जाती है जितनी बड़ी चूक। क्रमबद्ध रेटिंग के लिए अंतर्वर्ग सहसंबंध (ICC) पर विचार करें।
- जो पंक्तियाँ योग नहीं करतीं। गिनतियों के प्रारूप में पंक्ति यह बताती है कि हर श्रेणी को कितने मूल्यांकनकर्ताओं ने चुना, न कि किन्होंने; इसलिए हर पंक्ति का योग n होना चाहिए।
- z परीक्षण को ताकत का माप मानना। छोटा p-मान केवल इतना बताता है कि सहमति संयोग से बेहतर है; κ का आकार बताता है कि मूल्यांकनकर्ता कितनी अच्छी तरह सहमत हैं।
- दो मूल्यांकनकर्ताओं के साथ कोहेन का कप्पा अपेक्षित करना। दो मूल्यांकनकर्ताओं पर फ़्लीस का कप्पा स्कॉट के पाई के बराबर होता है, जो कोहेन के कप्पा से थोड़ा अलग हो सकता है।
अक्सर पूछे जाने वाले प्रश्न
- फ़्लीस के कप्पा और कोहेन के कप्पा में क्या अंतर है?
- कोहेन का कप्पा ठीक दो मूल्यांकनकर्ताओं के बीच सहमति मापता है, और संयोगवश सहमति का अनुमान हर मूल्यांकनकर्ता के अपने श्रेणी-अनुपातों से लगाता है। फ़्लीस का कप्पा किसी भी संख्या के मूल्यांकनकर्ताओं को संभालता है और संयोग का अनुमान लगाने के लिए सारी रेटिंग एक साथ जोड़ता है। दो मूल्यांकनकर्ताओं के साथ फ़्लीस का कप्पा कोहेन के कप्पा के बजाय स्कॉट के पाई के बराबर हो जाता है, इसलिए दोनों थोड़े अलग हो सकते हैं।
- क्या हर विषय की रेटिंग एक ही लोग करें?
- नहीं। फ़्लीस का कप्पा केवल इतना चाहता है कि हर विषय को समान संख्या में रेटिंग मिले; रेटिंग अलग-अलग लोग दे सकते हैं। यह उन डिज़ाइनों के लिए ठीक है जहाँ, मान लें, बीस समीक्षकों में से कोई तीन हर दस्तावेज़ कोड करते हैं। अगर एक स्थिर पैनल सब कुछ आँकता है, तब भी फ़्लीस का कप्पा काम करता है, हालाँकि कुछ शोधकर्ता हर जोड़ी के कोहेन के कप्पा का औसत लेना पसंद करते हैं।
- फ़्लीस का कप्पा का अच्छा मान क्या है?
- लैंडिस और कोच (1977) के मानदंडों पर 0.41–0.60 मध्यम, 0.61–0.80 पर्याप्त, और 0.81–1.00 लगभग पूर्ण सहमति है। ये लेबल परीक्षण नहीं, परंपराएँ हैं, और क्या स्वीकार्य है यह इस पर निर्भर करता है कि रेटिंग का उपयोग कैसे होगा। मान को केवल लेबल के बजाय संदर्भ के साथ दें — विषय, मूल्यांकनकर्ता, श्रेणियाँ।
- कैलकुलेटर फ़्लीस के कप्पा के लिए विश्वास अंतराल क्यों नहीं देता?
- फ़्लीस, नी और लैंडिस (1979) की मानक त्रुटि मानती है कि κ = 0 है, इसलिए वह यह जाँचने के लिए सही है कि सहमति संयोग से बेहतर है या नहीं, पर शून्य से भिन्न κ के चारों ओर अंतराल बनाने के लिए वह या तो बहुत छोटी है या बहुत बड़ी। विषयों पर बूटस्ट्रैप — पंक्तियों का पुनर्नमूना लें, κ फिर से निकालें, 2.5वाँ और 97.5वाँ प्रतिशतक लें — एक उचित अंतराल देता है।
- क्या क्रमिक रेटिंग के लिए फ़्लीस का कप्पा इस्तेमाल कर सकता हूँ?
- कर सकते हैं, पर वह क्रम को अनदेखा करता है: किसी विषय को 2 के बजाय 1 देना उतनी ही असहमति गिना जाता है जितनी 5 के बजाय 1 देना। क्रमिक पैमानों के लिए अंतर्वर्ग सहसंबंध, या क्रमिक मीट्रिक वाला क्रिपेंडॉर्फ़ का अल्फ़ा, उस जानकारी का उपयोग करते हैं।
- अगर कुछ विषयों की रेटिंग अधूरी हो तो क्या करें?
- फ़्लीस का कप्पा हर विषय के लिए रेटिंग की समान संख्या माँगता है। कच्चे-रेटिंग प्रारूप में कैलकुलेटर उन विषयों को रखता है जिनमें सबसे आम रेटिंग-संख्या है, और बताता है कि उसने कितने छोड़े। अगर बहुत से विषय अधूरे हैं, तो क्रिपेंडॉर्फ़ का अल्फ़ा छूटी रेटिंग के लिए ही बना है।