В чём разница между каппой Флисса и каппой Коэна?

Каппа Коэна измеряет согласованность ровно двух оценщиков и оценивает случайную согласованность по собственным долям категорий каждого оценщика. Каппа Флисса работает с любым числом оценщиков и объединяет все оценки для оценки случайности. При двух оценщиках каппа Флисса сводится к пи Скотта, а не к каппе Коэна, поэтому они могут немного различаться.

Должны ли одни и те же оценщики оценивать каждого субъекта?

Нет. Каппе Флисса нужно только, чтобы каждый субъект получил одинаковое число оценок; их могут дать разные люди. Это подходит для схем, где, например, любые три из двадцати рецензентов кодируют каждый документ. Если все субъекты оцениваются одной и той же фиксированной группой, каппа Флисса тоже работает, хотя некоторые исследователи предпочитают усреднять каппу Коэна по всем парам оценщиков.

Каково хорошее значение каппы Флисса?

По шкале Лэндиса и Коха (1977) 0,41–0,60 — умеренная, 0,61–0,80 — существенная и 0,81–1,00 — почти полная согласованность. Эти названия — соглашения, а не тесты, и приемлемость зависит от того, как будут использоваться оценки. Сообщайте значение вместе с контекстом — субъектами, оценщиками, категориями, — а не одну лишь метку.

Почему калькулятор не даёт доверительный интервал для каппы Флисса?

Стандартная ошибка Флисса, Ни и Лэндиса (1979) выведена при допущении κ = 0, поэтому она подходит для проверки, превышает ли согласованность случайную, но слишком мала или велика для интервала вокруг ненулевой каппы. Бутстрэп по субъектам — пересэмплируйте строки, пересчитайте κ и возьмите 2,5-й и 97,5-й перцентили — даёт обоснованный интервал.

Можно ли использовать каппу Флисса для порядковых оценок?

Можно, но она игнорирует порядок: оценка субъекта как 1 вместо 2 считается тем же расхождением, что и оценка 1 вместо 5. Для упорядоченных шкал внутриклассовая корреляция или альфа Криппендорфа с порядковой метрикой использует эту информацию.

Что делать, если у некоторых субъектов не хватает оценок?

Каппе Флисса нужно одинаковое число оценок у каждого субъекта. В формате сырых оценок калькулятор оставляет субъектов с наиболее частым числом оценок и сообщает, сколько он исключил. Если неполных субъектов много, альфа Криппендорфа рассчитана на пропущенные оценки.

Калькулятор каппы Флисса

Измерьте согласованность трёх и более оценщиков, которые относят субъектов к категориям. Вставьте таблицу «субъекты × категории» с частотами — или сырые оценки, по одной строке на субъекта — и получите каппу Флисса, наблюдаемую и случайную согласованность, z-критерий и каппу для каждой категории, с ходом вычислений. Бесплатно, без регистрации; всё работает в вашем браузере.

Ваши данные

Частоты по категориямОдна оценка в ячейке

Частоты — одна строка на субъекта, один столбец на категорию

Каждая ячейка — сколько оценщиков отнесли субъекта к этой категории, поэтому каждая строка в сумме даёт число оценщиков. Названия субъектов в первом столбце и категорий в строке заголовка необязательны.

Строка заголовка

Вставьте таблицу частот или по одной строке оценок на субъекта, чтобы увидеть каппу Флисса.

Как пользоваться калькулятором каппы Флисса

1. Выберите формат данных. Частоты по категориям — одна строка на субъекта и один столбец на категорию; каждая ячейка показывает, сколько оценщиков выбрали эту категорию. Одна оценка в ячейке — сырые данные: одна строка на субъекта, один столбец на оценщика; инструмент сам подсчитает частоты.
2. Вставьте данные. Копируйте прямо из таблицы. Названия субъектов в первом столбце и категорий в строке заголовка необязательны. В таблице частот сумма каждой строки должна равняться одинаковому числу оценщиков; строки, для которых это не так, подсвечиваются.
3. Проверьте таблицу. Калькулятор показывает счётчики, которые будет использовать, с суммой по каждому субъекту в столбце n, прежде чем выдать какой-либо результат.
4. Читайте результаты. Вы получите каппу Флисса, среднюю наблюдаемую согласованность P̄, случайную согласованность P̄ₑ, z-критерий для κ = 0 и каппу для каждой категории. Скопируйте строку в стиле APA для своей работы.

Формула каппы Флисса

Флисс (1971) обобщил каппу на любое число оценщиков. Пусть N субъектов оценены каждый n оценщиками по k категориям, а nᵢⱼ оценщиков отнесли субъекта i к категории j. Согласованность внутри одного субъекта — это доля пар оценщиков, которые согласны:

Формулы

Pᵢ = (Σⱼ nᵢⱼ² − n) / (n(n − 1))

P̄ = (1/N) Σᵢ Pᵢ P̄ₑ = Σⱼ pⱼ² κ = (P̄ − P̄ₑ) / (1 − P̄ₑ)

P̄ — средняя согласованность по субъектам.
pⱼ — доля всех N × n оценок, пришедшихся на категорию j.
P̄ₑ — согласованность, которую ожидали бы, если бы оценщики выбирали категории наугад в этих общих долях.
κ — согласованность сверх случайной, нормированная так, что 1 означает полную согласованность, а 0 — уровень случайности.

Калькулятор также даёт κⱼ для каждой категории, которая сравнивает эту категорию со всеми остальными, вместе взятыми, и z-критерий для κ = 0 с использованием стандартной ошибки Флисса, Ни и Лэндиса (1979). Эта стандартная ошибка выведена при нулевой гипотезе, поэтому она годится для проверки, но не для доверительного интервала. Для интервала используйте бутстрэп по субъектам.

Пример: четыре оценщика, десять постов

Четыре оценщика классифицировали десять постов в соцсетях как положительные, нейтральные или отрицательные. Нажмите Загрузить пример, чтобы ввести частоты:

Пост	Положительный	Нейтральный	Отрицательный	Pᵢ
1	4	0	0	1,000
2	3	1	0	0,500
3	0	4	0	1,000
4	0	3	1	0,500
5	1	1	2	0,167
6	0	0	4	1,000
7	2	2	0	0,333
8	0	1	3	0,500
9	4	0	0	1,000
10	0	4	0	1,000

Для поста 2 Pᵢ = (3² + 1² + 0² − 4) / (4 × 3) = 6 / 12 = 0,500. Десять значений в среднем дают P̄ = 0,700. Из 40 оценок 14 приходятся на «Положительный», 16 на «Нейтральный» и 10 на «Отрицательный», поэтому pⱼ = 0,35, 0,40 и 0,25, а P̄ₑ = 0,35² + 0,40² + 0,25² = 0,345. Тогда κ = (0,700 − 0,345) / (1 − 0,345) = 0,542 — умеренная согласованность по шкале Лэндиса и Коха. При SE₀ = 0,0922 получаем z = 5,88 и p < .001.

Каппы по категориям показывают, где оценщики расходятся: «Положительный» κ = 0,634, «Отрицательный» κ = 0,556, «Нейтральный» κ = 0,444. Нейтральная категория — та, которую оценщикам труднее применять последовательно. Это повод уточнить её определение в кодификаторе перед кодированием всей выборки.

Интерпретация и отчётность о каппе Флисса

Каппу Флисса обычно сверяют со шкалой Лэндиса и Коха (1977): 0,21–0,40 — удовлетворительная, 0,41–0,60 — умеренная, 0,61–0,80 — существенная, выше 0,80 — почти полная согласованность. Как и в случае каппы Коэна, границы — это соглашения, а каппа снижается, когда одна категория доминирует в оценках, даже при высокой согласованности. Сообщайте κ вместе с числом субъектов, оценщиков и категорий и с каппами по категориям, когда они различаются.

В стиле APA: «Согласованность четырёх оценщиков была умеренной, каппа Флисса = .54, z = 5.88, p < .001 (10 субъектов, по 4 оценщика в каждом).» Каппа не может превышать 1, поэтому стиль APA опускает ведущий ноль.

Допущения и типичные ошибки

Разное число оценок. Каждому субъекту нужно одинаковое число оценщиков. Субъектов с пропущенными оценками необходимо исключить или использовать альфу Криппендорфа, которая это допускает.
Упорядоченные категории. Каппа Флисса считает категории неупорядоченными, поэтому промах на соседнюю категорию засчитывается так же, как промах на далёкую. Для упорядоченных оценок рассмотрите внутриклассовую корреляцию.
Строки, которые не сходятся по сумме. В формате частот строка показывает, сколько оценщиков выбрали каждую категорию, а не кто именно, поэтому каждая строка должна давать в сумме n.
Чтение z-критерия как меры силы. Маленькое p-значение говорит лишь о том, что согласованность превосходит случайную; величина κ показывает, насколько хорошо оценщики согласны.
Ожидание каппы Коэна при двух оценщиках. При двух оценщиках каппа Флисса равна пи Скотта, и она может немного отличаться от каппы Коэна.

Часто задаваемые вопросы

В чём разница между каппой Флисса и каппой Коэна?: Каппа Коэна измеряет согласованность ровно двух оценщиков и оценивает случайную согласованность по собственным долям категорий каждого оценщика. Каппа Флисса работает с любым числом оценщиков и объединяет все оценки для оценки случайности. При двух оценщиках каппа Флисса сводится к пи Скотта, а не к каппе Коэна, поэтому они могут немного различаться.
Должны ли одни и те же оценщики оценивать каждого субъекта?: Нет. Каппе Флисса нужно только, чтобы каждый субъект получил одинаковое число оценок; их могут дать разные люди. Это подходит для схем, где, например, любые три из двадцати рецензентов кодируют каждый документ. Если все субъекты оцениваются одной и той же фиксированной группой, каппа Флисса тоже работает, хотя некоторые исследователи предпочитают усреднять каппу Коэна по всем парам оценщиков.
Каково хорошее значение каппы Флисса?: По шкале Лэндиса и Коха (1977) 0,41–0,60 — умеренная, 0,61–0,80 — существенная и 0,81–1,00 — почти полная согласованность. Эти названия — соглашения, а не тесты, и приемлемость зависит от того, как будут использоваться оценки. Сообщайте значение вместе с контекстом — субъектами, оценщиками, категориями, — а не одну лишь метку.
Почему калькулятор не даёт доверительный интервал для каппы Флисса?: Стандартная ошибка Флисса, Ни и Лэндиса (1979) выведена при допущении κ = 0, поэтому она подходит для проверки, превышает ли согласованность случайную, но слишком мала или велика для интервала вокруг ненулевой каппы. Бутстрэп по субъектам — пересэмплируйте строки, пересчитайте κ и возьмите 2,5-й и 97,5-й перцентили — даёт обоснованный интервал.
Можно ли использовать каппу Флисса для порядковых оценок?: Можно, но она игнорирует порядок: оценка субъекта как 1 вместо 2 считается тем же расхождением, что и оценка 1 вместо 5. Для упорядоченных шкал внутриклассовая корреляция или альфа Криппендорфа с порядковой метрикой использует эту информацию.
Что делать, если у некоторых субъектов не хватает оценок?: Каппе Флисса нужно одинаковое число оценок у каждого субъекта. В формате сырых оценок калькулятор оставляет субъектов с наиболее частым числом оценок и сообщает, сколько он исключил. Если неполных субъектов много, альфа Криппендорфа рассчитана на пропущенные оценки.