Калькулятор каппы Коэна

Как пользоваться калькулятором каппы Коэна

1. 1. Выберите формат данных. Используйте Таблицу согласованности, если у вас уже есть частоты: категории оценщика A слева, оценщика B сверху. Используйте Два столбца оценок, если у вас одна строка на субъекта с оценкой каждого оценщика.
2. 2. Вставьте данные. Копируйте прямо из таблицы или вводите через табуляцию, запятые или пробелы. Названия категорий в строке заголовка необязательны. Калькулятор показывает построенную таблицу согласованности с суммами по строкам и столбцам, чтобы вы могли её проверить.
3. 3. Задайте порядок категорий для порядковых оценок. Взвешенная каппа считает категории упорядоченными от низшей к высшей. Числовые коды сортируются автоматически; для слов вроде «Незачёт», «Зачёт» и «Отлично» введите порядок в поле.
4. 4. Прочитайте каппу и её интервал. Вы получите κ, её 95% доверительный интервал, наблюдаемую и случайную согласованность и z-критерий для κ = 0. При трёх и более категориях таблица добавляет линейную и квадратичную взвешенную каппу. Когда закончите, скопируйте строку в стиле APA.

Формула каппы Коэна

Каппа сравнивает фактическую согласованность оценщиков с согласованностью, которую дали бы два оценщика по чистой случайности, если бы присваивали категории независимо, каждый со своей наблюдаемой частотой:

• pₒ — наблюдаемая согласованность: доля субъектов, которых оба оценщика отнесли к одной категории (диагональ таблицы, делённая на n).
• pₑ — случайная согласованность: Σ (сумма строки × сумма столбца) / n², согласованность, которая ожидается, если каждый оценщик сохраняет свои пропорции категорий, но выбирает независимо.
• κ = 1 означает полную согласованность, κ = 0 — согласованность не лучше случайной, а отрицательные значения — согласованность хуже случайной.

Взвешенная каппа даёт частичный зачёт за почти совпадения на упорядоченной шкале: κw = (pₒ(w) − pₑ(w)) / (1 − pₑ(w)), где каждая ячейка умножается на вес согласованности. Линейные (Чичетти–Эллисон) веса: w = 1 − |i − j| / (k − 1); квадратичные (Флисс–Коэн): w = 1 − (i − j)² / (k − 1)². При квадратичных весах каппа тесно связана с внутриклассовой корреляцией.

95% доверительный интервал равен κ ± 1,96 × SE, где SE — стандартная ошибка для больших выборок из работы Флисса, Коэна и Эверитта (1969); z-критерий для κ = 0 использует вторую стандартную ошибку, вычисленную при этой нулевой гипотезе. Обе формулы асимптотические, поэтому в малых выборках относитесь к ним как к приблизительным. Это те же формулы, что использует SAS PROC FREQ, и калькулятор воспроизводит его документированные примеры до четырёх знаков.

Пример: два учителя оценивают 50 сочинений

Два учителя независимо оценили одни и те же 50 сочинений как низкий, средний или высокий уровень. Нажмите Загрузить пример в режиме таблицы, чтобы ввести их частоты:

Учителя согласились в 14 + 13 + 11 = 38 сочинениях, поэтому pₒ = 38 / 50 = 0,76. Случайная согласованность равна pₑ = (18 × 16 + 19 × 18 + 13 × 16) / 50² = 838 / 2 500 = 0,3352. Тогда κ = (0,76 − 0,3352) / (1 − 0,3352) = 0,639, SE = 0,091, 95% ДИ [0,461; 0,817], z = 6,41, p < 0,001. При этих суммах наибольшая возможная каппа равна 0,910, так что потолок не сдерживает каппу здесь: её сдерживают 12 расхождений.

Взвешенные каппы выше, потому что 11 из 12 расхождений отличаются лишь на одну категорию. Так как «низкий», «средний» и «высокий» упорядочены, взвешенная каппа здесь — честная сводка; для неупорядоченных категорий, например диагнозов, имеет смысл только невзвешенное значение.

Как интерпретировать каппу и сообщать о ней

Лэндис и Кох описывали свои границы как условные, а другие авторы используют более строгие, поэтому сообщайте число и его интервал, а не одну лишь метку. Каппа также зависит от распределения по категориям. Когда одна категория очень частая, случайная согласованность высока, и каппа может быть низкой, даже если оценщики согласны по большинству субъектов — «парадокс каппы», описанный Файнштейном и Чичетти (1990). Указание pₒ, pₑ и максимально достижимой каппы рядом с κ помогает читателю понять, почему так получилось.

Отчёт об этом примере в стиле APA: «Согласованность между двумя учителями была существенной, κ Коэна = .64, 95% ДИ [.46, .82], z = 6.41, p < .001 (n = 50).» Каппа не может превышать 1, поэтому стиль APA опускает ведущий ноль и пишет .64, а не 0,64.

Типичные ошибки

• Выдавать процент согласия за надёжность. 76% согласия звучит убедительно, но два учителя, оценивающие независимо, по своим частотам совпали бы примерно в 34% этих сочинений по чистой случайности; каппа исключает эту долю.
• Взвешивать номинальные категории. Взвешенная каппа предполагает порядок. Для категорий без порядка используйте невзвешенное значение.
• Путать таблицу. Строки должны относиться к одному оценщику, столбцы — к другому, а категории на обеих сторонах должны идти в одном порядке, чтобы согласия легли на диагональ.
• Проверять κ = 0 и на этом останавливаться. Значимый z лишь говорит, что согласованность превосходит случайную; слабая каппа может быть высокозначимой в большой выборке.

Часто задаваемые вопросы

Каково хорошее значение каппы Коэна?

По шкале Лэндиса и Коха (1977) 0,41–0,60 — умеренная, 0,61–0,80 — существенная, а выше 0,80 — почти полная согласованность. Что приемлемо, зависит от ставок: оценки, которые влияют на решения о людях, например диагнозы, требуют гораздо более высокой согласованности, чем исследовательское кодирование. Поскольку шкалы — это соглашения, сообщайте каппу вместе с доверительным интервалом и сравнивайте её с тем, что сообщают похожие исследования в вашей области.

В чём разница между каппой Коэна и процентом согласия?

Процент согласия — это просто pₒ, доля субъектов, которых оценщики отнесли одинаково. Каппа вычитает согласованность, ожидаемую по чистой случайности, и перемасштабирует результат, так что 0 означает случайный уровень, а 1 — полную согласованность. Два оценщика, которые оба относят 90% случаев к «норме», часто будут совпадать и без реальной согласованности: процент согласия это вознаграждает, каппа — нет.

Когда использовать взвешенную каппу и какие веса выбрать?

Используйте взвешенную каппу, когда категории упорядочены, так что путаница «низкого» со «средним» — меньшая ошибка, чем путаница «низкого» с «высоким». Линейные веса штрафуют расхождение пропорционально расстоянию между категориями; квадратичные штрафуют далёкие расхождения сильнее и дают значения, близкие к внутриклассовой корреляции. Указывайте, какие веса вы использовали, потому что они меняют результат.

Почему каппа низкая, когда оценщики во многом согласны?

Потому что случайная согласованность высока, когда доминирует одна категория. Если оба оценщика относят 95% случаев к негативным, они будут согласны в большинстве случаев даже при случайной оценке, поэтому pₑ велика, а пространство над ней мало. Это парадокс каппы: указывайте pₒ и pₑ вместе с κ и максимально достижимой каппой калькулятора, чтобы читатели видели влияние распределения.

Можно ли использовать каппу Коэна с более чем двумя оценщиками?

Нет: каппа Коэна сравнивает ровно двух оценщиков. Когда каждого субъекта оценивает одинаковое число оценщиков, используйте каппу Флисса. В некоторых исследованиях с фиксированным составом оценщиков усредняют каппы Коэна всех пар оценщиков (каппа Лайта).