कोहेन का कप्पा कैलकुलेटर

कोहेन का कप्पा कैलकुलेटर का उपयोग कैसे करें

1. 1. अपने डेटा का प्रारूप चुनें। यदि आपके पास गिनती पहले से है तो सहमति-तालिका चुनें — मूल्यांकक A की श्रेणियाँ बाईं ओर, मूल्यांकक B की ऊपर। यदि हर विषय की एक पंक्ति हो और हर मूल्यांकक का लेबल हो, तो मूल्यांकनों के दो कॉलम चुनें।
2. 2. डेटा पेस्ट करें। स्प्रेडशीट से सीधे कॉपी करें, या टैब, कॉमा या स्पेस के साथ टाइप करें। पहली पंक्ति में श्रेणी-नाम वैकल्पिक हैं। कैलकुलेटर बनाई गई सहमति-तालिका दिखाता है, पंक्ति और स्तंभ योगों के साथ, ताकि आप उसे जाँच सकें।
3. 3. क्रमित मूल्यांकनों के लिए श्रेणी-क्रम तय करें। भारित कप्पा श्रेणियों को निम्न से उच्च क्रम में मानता है। संख्यात्मक कोड अपने-आप क्रमबद्ध होते हैं; अनुत्तीर्ण, उत्तीर्ण और विशेष योग्यता जैसे शब्दों के लिए बॉक्स में क्रम लिखें।
4. 4. कप्पा और उसका अंतराल पढ़ें। आपको κ, उसका 95% विश्वास अंतराल, प्रेक्षित और संयोगवश सहमति, और κ = 0 का z परीक्षण मिलता है। तीन या अधिक श्रेणियों पर एक तालिका रैखिक और द्विघात भारित कप्पा जोड़ती है। समाप्त होने पर APA-शैली की पंक्ति कॉपी करें।

कोहेन के कप्पा का सूत्र

कप्पा उस सहमति की तुलना करता है जो दोनों मूल्यांककों ने वास्तव में पाई, उस सहमति से जो दो मूल्यांकक संयोग से पा लेते यदि वे अपनी-अपनी प्रेक्षित दरों पर स्वतंत्र रूप से श्रेणियाँ देते:

• pₒ — प्रेक्षित सहमति: वह अनुपात जिसमें दोनों मूल्यांकक विषय को एक ही श्रेणी में रखते हैं (तालिका का विकर्ण, n से भाग दिया हुआ)।
• pₑ — संयोगवश सहमति: Σ (पंक्ति योग × स्तंभ योग) / n², वह सहमति जो अपेक्षित होती यदि हर मूल्यांकक अपने श्रेणी-अनुपात रखता, पर स्वतंत्र रूप से चुनता।
• κ = 1 पूर्ण सहमति है, κ = 0 का अर्थ है सहमति संयोग से बेहतर नहीं, और ऋणात्मक मान का अर्थ है संयोग से भी कम सहमति।

भारित कप्पा क्रमित पैमाने पर निकट-चूक के लिए आंशिक श्रेय देता है: κw = (pₒ(w) − pₑ(w)) / (1 − pₑ(w)), जहाँ हर सेल को एक सहमति-भार से गुणा किया जाता है। रैखिक (Cicchetti–Allison) भार w = 1 − |i − j| / (k − 1) हैं; द्विघात (Fleiss–Cohen) भार w = 1 − (i − j)² / (k − 1)² हैं। द्विघात भार के साथ कप्पा अंतर्वर्ग सहसंबंध (intraclass correlation) से निकट रूप से जुड़ा होता है।

95% विश्वास अंतराल κ ± 1.96 × SE है, जो Fleiss, Cohen और Everitt (1969) की बड़े-नमूने वाली मानक त्रुटि का उपयोग करता है; κ = 0 का z परीक्षण इस शून्य परिकल्पना के अंतर्गत परिकलित दूसरी मानक त्रुटि लेता है। दोनों asymptotic हैं, इसलिए छोटे नमूनों में इन्हें अनुमानित मानें। ये वही सूत्र हैं जो SAS PROC FREQ उपयोग करता है, और कैलकुलेटर उसके प्रलेखित उदाहरणों को चार दशमलव तक दोहराता है।

हल किया गया उदाहरण: दो शिक्षक 50 निबंधों की ग्रेडिंग करते हैं

दो शिक्षकों ने एक ही 50 निबंधों को कम, मध्यम या उच्च में आँका। तालिका मोड में उनकी गिनती दर्ज करने के लिए उदाहरण लोड करें दबाएँ:

शिक्षक 14 + 13 + 11 = 38 निबंधों पर सहमत हैं, इसलिए pₒ = 38 / 50 = 0.76। संयोगवश सहमति है pₑ = (18 × 16 + 19 × 18 + 13 × 16) / 50² = 838 / 2,500 = 0.3352। फिर κ = (0.76 − 0.3352) / (1 − 0.3352) = 0.639, SE = 0.091, 95% CI [0.461, 0.817], और z = 6.41, p < .001। इन योगों के साथ अधिकतम संभव कप्पा 0.910 है, इसलिए यहाँ कप्पा को नीचे रखने वाली चीज़ ऊपरी सीमा नहीं है — बल्कि 12 असहमतियाँ हैं।

भारित कप्पा अधिक हैं क्योंकि 12 में से 11 असहमतियाँ केवल एक श्रेणी के अंतर वाली हैं। चूँकि कम, मध्यम और उच्च क्रमित हैं, यहाँ भारित कप्पा उचित सारांश है; अक्रमित श्रेणियों के लिए, जैसे निदान, केवल बिना भार वाला मान अर्थपूर्ण है।

कप्पा की व्याख्या और रिपोर्टिंग

Landis और Koch ने अपने विभाजनों को मनमाना बताया था, और अन्य लेखक कड़े विभाजन उपयोग करते हैं, इसलिए केवल लेबल नहीं, संख्या और उसका अंतराल दें। कप्पा मार्जिन पर भी निर्भर करता है। जब एक श्रेणी बहुत आम हो, तो संयोगवश सहमति ऊँची होती है और कप्पा कम हो सकता है, भले ही मूल्यांकक अधिकांश विषयों पर सहमत हों — Feinstein और Cicchetti (1990) द्वारा वर्णित "कप्पा विरोधाभास"। pₒ, pₑ और अधिकतम संभव कप्पा को κ के साथ रिपोर्ट करने से पाठक समझ पाता है कि ऐसा क्यों है।

उदाहरण की APA-शैली रिपोर्ट: "दोनों शिक्षकों के बीच सहमति काफ़ी थी, Cohen's κ = .64, 95% CI [.46, .82], z = 6.41, p < .001 (n = 50)." कप्पा 1 से अधिक नहीं हो सकता, इसलिए APA शैली अग्रणी शून्य हटा देती है।

सामान्य गलतियाँ

• प्रतिशत सहमति को विश्वसनीयता मानना। 76% सहमति मज़बूत लगती है, परंतु दो शिक्षक जो अपनी-अपनी दरों पर स्वतंत्र रूप से ग्रेड करते, वे संयोग से इन निबंधों के लगभग 34% पर सहमत होते; कप्पा वह हिस्सा घटा देता है।
• अक्रमित श्रेणियों पर भार लगाना। भारित कप्पा एक क्रम मानता है। जिन श्रेणियों का कोई क्रम नहीं, उनके लिए बिना भार वाला मान लें।
• तालिका उलटना। पंक्तियाँ एक मूल्यांकक की और स्तंभ दूसरे के होने चाहिए, और दोनों ओर श्रेणियाँ एक ही क्रम में हों, ताकि सहमतियाँ विकर्ण पर आएँ।
• κ = 0 का परीक्षण करके वहीं रुक जाना। सार्थक z केवल यह बताता है कि सहमति संयोग से बेहतर है — बड़े नमूने में कमज़ोर कप्पा भी अत्यंत सार्थक हो सकता है।

अक्सर पूछे जाने वाले प्रश्न

अच्छा कोहेन का कप्पा मान कौन-सा है?

Landis और Koch (1977) के मानदंडों पर, 0.41–0.60 मध्यम है, 0.61–0.80 काफ़ी, और 0.80 से ऊपर लगभग पूर्ण। क्या स्वीकार्य है, यह दाँव पर निर्भर करता है: निदान जैसे व्यक्तियों से जुड़े निर्णयों को आधार बनाने वाली रेटिंग को कहीं अधिक सहमति चाहिए, जबकि अन्वेषणात्मक कोडिंग को कम। चूँकि मानदंड परंपराएँ हैं, कप्पा को उसके विश्वास अंतराल के साथ रिपोर्ट करें और उसकी तुलना अपने क्षेत्र के समान अध्ययनों से करें।

कोहेन के कप्पा और प्रतिशत सहमति में क्या अंतर है?

प्रतिशत सहमति केवल pₒ है, यानी वह अनुपात जिसमें मूल्यांककों ने विषयों को एक ही तरह वर्गीकृत किया। कप्पा संयोग से अपेक्षित सहमति घटाता है और परिणाम को पुनः-मापता है, इसलिए 0 का अर्थ संयोग-स्तर की सहमति और 1 का अर्थ पूर्ण सहमति है। दो मूल्यांकक जो 90% मामलों को "सामान्य" लेबल करते हैं, अक्सर केवल संयोग से सहमत होंगे, जिसे प्रतिशत सहमति पुरस्कृत करती है और कप्पा नहीं।

भारित कप्पा कब इस्तेमाल करूँ, और कौन-से भार?

जब श्रेणियाँ क्रमित हों, तब भारित कप्पा लें, ताकि Low को Medium से भ्रमित करना, Low को High से भ्रमित करने से छोटी गलती माना जाए। रैखिक भार श्रेणियों के बीच की दूरी के अनुपात में असहमति को दंड देते हैं; द्विघात भार दूर की असहमतियों को अधिक दंड देते हैं और अंतर्वर्ग सहसंबंध के निकट मान देते हैं। बताएँ कि आपने कौन-से भार इस्तेमाल किए, क्योंकि वे परिणाम बदल देते हैं।

जब मूल्यांकक अधिकांश समय सहमत हों, तब भी कप्पा कम क्यों है?

क्योंकि जब एक श्रेणी हावी होती है, तब संयोगवश सहमति ऊँची होती है। यदि दोनों मूल्यांकक 95% मामलों को नकारात्मक कहें, तो वे यादृच्छिक रूप से लेबल करते हुए भी अधिकांश मामलों पर सहमत होंगे, इसलिए pₑ बड़ा होता है और उसके ऊपर की जगह छोटी। यह कप्पा विरोधाभास है; pₒ और pₑ को κ के साथ रिपोर्ट करें, और कैलकुलेटर का अधिकतम संभव कप्पा भी, ताकि पाठक मार्जिन का प्रभाव देख सकें।

क्या मैं दो से अधिक मूल्यांककों के लिए कोहेन का कप्पा उपयोग कर सकता हूँ?

नहीं — कोहेन का कप्पा ठीक दो मूल्यांककों की तुलना करता है। जब हर विषय को समान संख्या के मूल्यांकक रेट करें, तो Fleiss का कप्पा उपयोग करें। मूल्यांककों के एक निश्चित पैनल वाले कुछ अध्ययन इसके बजाय हर जोड़ी के कोहेन के कप्पा का औसत लेते हैं (Light का कप्पा)।