ما الفرق بين كابا فلايس وكابا كوهين؟

تقيس كابا كوهين الاتفاق بين مقيّمَين بالضبط، وتقدّر الصدفة باستخدام نسب الفئات لدى كل مقيّم. أما كابا فلايس فتتعامل مع أي عدد من المقيّمين، وتجمع كل التقييمات لتقدير الصدفة. ومع مقيّمَين تُختزل كابا فلايس إلى مؤشر Scott's pi لا إلى كابا كوهين، فقد يختلفان قليلًا.

هل يجب أن يقيّم المقيّمون أنفسهم كل مفحوص؟

لا. تحتاج كابا فلايس فقط إلى أن يتلقى كل مفحوص العدد نفسه من التقييمات؛ ويمكن أن يقدّمها أشخاص مختلفون. وهذا يناسب تصميمات مثل أن يرمّز أي ثلاثة من عشرين مراجعًا كل وثيقة. وإن كانت لجنة ثابتة واحدة تقيّم الكل، فما زالت كابا فلايس تعمل، وإن فضّل بعض الباحثين متوسط كابا كوهين لكل زوج من المقيّمين.

ما قيمة كابا فلايس الجيدة؟

وفق مقاييس Landis وKoch (1977)، يُعد 0.41–0.60 متوسطًا، و0.61–0.80 كبيرًا، و0.81–1.00 شبه تام. والتسميات أعراف لا اختبارات، وما يُقبل يعتمد على طريقة استخدام التقييمات. أبلغ عن القيمة مع سياقها — المفحوصين والمقيّمين والفئات — لا عن التسمية وحدها.

لماذا لا تعطي الحاسبة فترة ثقة لكابا فلايس؟

الخطأ المعياري الذي اشتقه فلايس وNee وLandis (1979) يفترض κ = 0، لذا فهو صحيح لاختبار ما إذا كان الاتفاق يتجاوز الصدفة، لكنه أصغر أو أكبر من اللازم لبناء فترة حول كابا غير صفرية. وتعطي إعادة أخذ العينات بالتمهيد على المفحوصين — إعادة أخذ الصفوف، وإعادة حساب κ، وأخذ المئينين 2.5 و97.5 — فترةً يمكن الدفاع عنها.

هل يمكنني استخدام كابا فلايس مع تقييمات مرتبة؟

يمكنك، لكنها تتجاهل الترتيب: فتقييم المفحوص 1 بدلًا من 2 يُحسب خلافًا مثل تقييمه 1 بدلًا من 5. وللمقاييس المرتبة، يستخدم معامل الارتباط داخل الفئة أو ألفا كريبندورف بالمقياس الترتيبي تلك المعلومة.

ماذا أفعل إن كان بعض المفحوصين ينقصهم تقييمات؟

تحتاج كابا فلايس إلى العدد نفسه من التقييمات لكل مفحوص. وفي صيغة التقييمات الخام، تحتفظ الحاسبة بالمفحوصين الذين لديهم العدد الأكثر شيوعًا، وتخبرك بعدد من استبعدتهم. وإن كان كثير من المفحوصين ناقصين، فألفا كريبندورف مصمم للتقييمات الناقصة.

حاسبة كابا فلايس

قِس الاتفاق بين ثلاثة مقيّمين فأكثر يصنّفون المفحوصين في فئات. الصق جدولًا من المفحوصين × الفئات بالتكرارات — أو تقييمات خام، صفًّا لكل مفحوص — لتحصل على كابا فلايس، والاتفاق المشاهَد والاتفاق بالصدفة، واختبار z، وكابا لكل فئة، مع عرض الحساب. مجانية ودون تسجيل، وتعمل بالكامل داخل متصفحك.

بياناتك

تكرارات لكل فئةتقييم واحد لكل خلية

التكرارات — صف لكل مفحوص، وعمود لكل فئة

كل خلية هي عدد المقيّمين الذين وضعوا ذلك المفحوص في تلك الفئة، فيساوي مجموع كل صف عدد المقيّمين. وأسماء المفحوصين في العمود الأول وأسماء الفئات في صف الرأس اختيارية.

صف الرأس

الصق جدول تكرارات، أو صفًّا من التقييمات لكل مفحوص، لترى كابا فلايس.

كيفية استخدام حاسبة كابا فلايس

1. اختر صيغة البيانات. التكرارات لكل فئة يأخذ صفًّا لكل مفحوص وعمودًا لكل فئة، وتعني كل خلية عدد المقيّمين الذين وضعوا المفحوص في تلك الفئة. أما تقييم واحد لكل خلية فيأخذ البيانات الخام — صفًّا لكل مفحوص وعمودًا لكل مقيّم — ويحسب التكرارات بنفسه.
2. الصق البيانات. انسخ مباشرة من جدول بيانات. وأسماء المفحوصين في العمود الأول وأسماء الفئات في صف الرأس اختياريتان. وفي جدول التكرارات يجب أن يساوي مجموع كل صف العدد نفسه من المقيّمين؛ والصفوف التي لا تفعل ذلك تُبرز.
3. تحقق من الجدول. تعرض الحاسبة التكرارات التي ستستخدمها، مع مجموع كل مفحوص في عمود n، قبل أن تعطي أي نتيجة.
4. اقرأ النتائج. تحصل على κ فلايس، والاتفاق المشاهَد المتوسط P̄، والاتفاق بالصدفة P̄ₑ، واختبار z لـ κ = 0، وكابا لكل فئة. انسخ السطر بصيغة APA لتستخدمه في كتابتك.

صيغة كابا فلايس

وسّع فلايس (1971) كابا ليشمل أي عدد من المقيّمين. لنفترض أن N مفحوصًا قيّمه كلٌّ منهم n مقيّمًا في k فئة، وأن nᵢⱼ مقيّمًا وضعوا المفحوص i في الفئة j. ويُقاس الاتفاق داخل المفحوص الواحد بنسبة أزواج المقيّمين المتفقين:

الصيغ

Pᵢ = (Σⱼ nᵢⱼ² − n) / (n(n − 1))

P̄ = (1/N) Σᵢ Pᵢ P̄ₑ = Σⱼ pⱼ² κ = (P̄ − P̄ₑ) / (1 − P̄ₑ)

P̄ — متوسط الاتفاق عبر المفحوصين.
pⱼ — نسبة كل التقييمات الـ N × n التي وقعت في الفئة j.
P̄ₑ — الاتفاق المتوقع لو اختار المقيّمون الفئات عشوائيًا بالنسب الإجمالية نفسها.
κ — الاتفاق فوق مستوى الصدفة، مُقاسًا بحيث تعني 1 اتفاقًا تامًا و0 مستوى الصدفة.

تعطيك الحاسبة أيضًا κⱼ لكل فئة، وهي تعامل الفئة في مقابل كل الفئات الأخرى مجتمعةً، واختبار z لـ κ = 0 باستخدام الخطأ المعياري لفلايس وNee وLandis (1979). ويُشتق هذا الخطأ المعياري تحت فرضية العدم، فهو صالح للاختبار لا لفترة الثقة. ولفترة ثقة، أعد الحساب بالتمهيد (bootstrap) على المفحوصين.

مثال محلول: أربعة مرمِّزين وعشر مشاركات

صنّف أربعة مرمِّزين عشر مشاركات على وسائل التواصل الاجتماعي إلى إيجابي أو محايد أو سلبي. انقر حمّل المثال لإدخال التكرارات:

المشاركة	إيجابي	محايد	سلبي	Pᵢ
1	4	0	0	1.000
2	3	1	0	0.500
3	0	4	0	1.000
4	0	3	1	0.500
5	1	1	2	0.167
6	0	0	4	1.000
7	2	2	0	0.333
8	0	1	3	0.500
9	4	0	0	1.000
10	0	4	0	1.000

بالنسبة للمشاركة 2، Pᵢ = (3² + 1² + 0² − 4) / (4 × 3) = 6 / 12 = 0.500. ومتوسط القيم العشر هو P̄ = 0.700. وتتوزع التقييمات الـ40 بين 14 إيجابيًّا و16 محايدًا و10 سلبيّة، فتكون pⱼ = 0.35 و0.40 و0.25، وP̄ₑ = 0.35² + 0.40² + 0.25² = 0.345. ثم κ = (0.700 − 0.345) / (1 − 0.345) = 0.542، أي اتفاق متوسط وفق مقاييس Landis وKoch. ومع SE₀ = 0.0922 تكون z = 5.88 وp < .001.

تُظهر كابا لكل فئة أين يختلف المرمِّزون: κ للإيجابي = 0.634، و κ للسلبي = 0.556، و κ للمحايد = 0.444. والمحايد هو الفئة التي يصعب على المرمِّزين تطبيقها باتساق — إشارة إلى ضرورة توضيح تعريفها في دليل الترميز قبل ترميز العينة كلها.

تفسير كابا فلايس والإبلاغ عنها

تُقرأ كابا فلايس عادةً مقابل مقاييس Landis وKoch (1977): من 0.21 إلى 0.40 اتفاق مقبول، ومن 0.41 إلى 0.60 متوسط، ومن 0.61 إلى 0.80 كبير، وما فوق 0.80 شبه تام. وكما في كابا كوهين، فالحدود اصطلاحات، وتنخفض كابا حين تهيمن فئة واحدة على التقييمات حتى لو كان الاتفاق مرتفعًا. وأبلغ عن κ مع عدد المفحوصين والمقيّمين والفئات، وعن كابا لكل فئة حين تختلف.

بصيغة APA: «كان الاتفاق بين المرمِّزين الأربعة متوسطًا، Fleiss' κ = .54، z = 5.88، p < .001 (10 مفحوصين، 4 مقيّمين لكل منهم).» ولا يمكن أن تتجاوز كابا 1، لذا يُحذف الصفر قبل الفاصلة.

الافتراضات والأخطاء الشائعة

أعداد تقييمات غير متساوية. يحتاج كل مفحوص إلى العدد نفسه من المقيّمين. ويجب استبعاد المفحوصين الذين ينقصهم تقييم، أو استخدام ألفا كريبندورف الذي يسمح بذلك.
فئات مرتبة. تعامل كابا فلايس الفئات على أنها غير مرتبة، فالخطأ القريب يُحسب كالخطأ البعيد تمامًا. وللتقييمات المرتبة، فكّر في معامل الارتباط داخل الفئة (ICC).
صفوف لا يساوي مجموعها n. في صيغة التكرارات، الصف هو عدد المقيّمين الذين اختاروا كل فئة، لا أيّهم، لذا يجب أن يساوي مجموع كل صف n.
قراءة اختبار z كمقياس للقوة. قيمة p الصغيرة جدًا تقول فقط إن الاتفاق يتجاوز الصدفة؛ أما حجم κ فيقول مدى جودة اتفاق المقيّمين.
توقع كابا كوهين مع مقيّمَين. مع مقيّمَين، تساوي كابا فلايس مؤشر Scott's pi، وقد يختلف قليلًا عن كابا كوهين.

الأسئلة الشائعة

ما الفرق بين كابا فلايس وكابا كوهين؟: تقيس كابا كوهين الاتفاق بين مقيّمَين بالضبط، وتقدّر الصدفة باستخدام نسب الفئات لدى كل مقيّم. أما كابا فلايس فتتعامل مع أي عدد من المقيّمين، وتجمع كل التقييمات لتقدير الصدفة. ومع مقيّمَين تُختزل كابا فلايس إلى مؤشر Scott's pi لا إلى كابا كوهين، فقد يختلفان قليلًا.
هل يجب أن يقيّم المقيّمون أنفسهم كل مفحوص؟: لا. تحتاج كابا فلايس فقط إلى أن يتلقى كل مفحوص العدد نفسه من التقييمات؛ ويمكن أن يقدّمها أشخاص مختلفون. وهذا يناسب تصميمات مثل أن يرمّز أي ثلاثة من عشرين مراجعًا كل وثيقة. وإن كانت لجنة ثابتة واحدة تقيّم الكل، فما زالت كابا فلايس تعمل، وإن فضّل بعض الباحثين متوسط كابا كوهين لكل زوج من المقيّمين.
ما قيمة كابا فلايس الجيدة؟: وفق مقاييس Landis وKoch (1977)، يُعد 0.41–0.60 متوسطًا، و0.61–0.80 كبيرًا، و0.81–1.00 شبه تام. والتسميات أعراف لا اختبارات، وما يُقبل يعتمد على طريقة استخدام التقييمات. أبلغ عن القيمة مع سياقها — المفحوصين والمقيّمين والفئات — لا عن التسمية وحدها.
لماذا لا تعطي الحاسبة فترة ثقة لكابا فلايس؟: الخطأ المعياري الذي اشتقه فلايس وNee وLandis (1979) يفترض κ = 0، لذا فهو صحيح لاختبار ما إذا كان الاتفاق يتجاوز الصدفة، لكنه أصغر أو أكبر من اللازم لبناء فترة حول كابا غير صفرية. وتعطي إعادة أخذ العينات بالتمهيد على المفحوصين — إعادة أخذ الصفوف، وإعادة حساب κ، وأخذ المئينين 2.5 و97.5 — فترةً يمكن الدفاع عنها.
هل يمكنني استخدام كابا فلايس مع تقييمات مرتبة؟: يمكنك، لكنها تتجاهل الترتيب: فتقييم المفحوص 1 بدلًا من 2 يُحسب خلافًا مثل تقييمه 1 بدلًا من 5. وللمقاييس المرتبة، يستخدم معامل الارتباط داخل الفئة أو ألفا كريبندورف بالمقياس الترتيبي تلك المعلومة.
ماذا أفعل إن كان بعض المفحوصين ينقصهم تقييمات؟: تحتاج كابا فلايس إلى العدد نفسه من التقييمات لكل مفحوص. وفي صيغة التقييمات الخام، تحتفظ الحاسبة بالمفحوصين الذين لديهم العدد الأكثر شيوعًا، وتخبرك بعدد من استبعدتهم. وإن كان كثير من المفحوصين ناقصين، فألفا كريبندورف مصمم للتقييمات الناقصة.