Каким должен быть хороший индекс валидности содержания?

Для пунктов Lynn (1986) требовал I-CVI 1,00 при трёх–пяти экспертах и задавал минимумы от 5 из 6 до 8 из 10 для больших групп, но не ниже 0,78. Для шкалы в целом Polit и Beck (2006) рекомендуют S-CVI/Ave 0,90 или выше, а 0,80 — обычная строгая цель для S-CVI/UA.

Сколько экспертов нужно для индекса валидности содержания?

Lynn советовал не меньше трёх экспертов и считал, что больше десяти, вероятно, не нужно. Многие исследования используют от пяти до десяти. Большая группа делает I-CVI каждого пункта менее чувствительным к одной необычной оценке, но и универсальное согласие, а значит и S-CVI/UA, достичь труднее.

В чём разница между S-CVI/Ave и S-CVI/UA?

S-CVI/Ave усредняет I-CVI пунктов, поэтому пункт, которому релевантность подтвердили пять из шести экспертов, всё равно вносит 0,83. S-CVI/UA учитывает только пункты, которые каждый эксперт оценил 3 или 4, поэтому он снижается с ростом группы. Polit и Beck (2006) предпочитают S-CVI/Ave и советуют указывать, какой метод вы использовали.

Зачем считать модифицированную каппу, если есть I-CVI?

При малой группе высокое согласие может возникнуть по случайности: два эксперта оба скажут «релевантно» в четверти случаев, даже угадывая. Модифицированная каппа вычитает вероятность наблюдаемого согласия по биномиальному распределению, поэтому показывает, впечатляет ли I-CVI для группы такого размера.

В чём разница между CVI и CVR?

Коэффициент валидности содержания (Lawshe, 1975) спрашивает экспертов, является ли каждый пункт существенным, полезным, но не существенным или ненужным, и вычисляет CVR = (nₑ − N/2) ÷ (N/2), где nₑ — число выбравших «существенный». CVI спрашивает о релевантности по 4-балльной шкале. Они отвечают на родственные вопросы и не взаимозаменяемы; этот калькулятор считает CVI.

Можно ли использовать 3- или 5-балльную шкалу релевантности?

Lynn рекомендовал четыре балла именно для того, чтобы исключить двусмысленный средний вариант, а I-CVI различает только «релевантно» и «нерелевантно». Если ваша группа использовала другую шкалу, решите, какие оценки означают «релевантно», перекодируйте их в 4, а остальные — в 1, и вставьте перекодированную таблицу.

Калькулятор индекса валидности содержания (CVI)

Вставьте оценки релевантности вашей экспертной группы — от 1 до 4 для каждого пункта — и получите I-CVI каждого пункта и модифицированную каппу с поправкой на случайное согласие, а также индексы по шкале в целом: S-CVI/Ave и S-CVI/UA. Калькулятор покажет, соответствует ли каждый пункт минимуму Lynn (1986) для группы вашего размера, и расчёт для любого выбранного пункта. Бесплатно, без регистрации; оценки не покидают браузер.

Оценки релевантности от 1 до 4

Вставьте из таблицы или введите оценки через запятую или пробел: 1 = не релевантно, 2 = отчасти релевантно, 3 = довольно релевантно, 4 = очень релевантно. Пустые ячейки пропускаются.

В первой строке названияВ первом столбце названия

Каждая строка таблицы — это

Один экспертОдин пункт

Результаты

Вставьте оценки группы или загрузите пример, чтобы увидеть I-CVI каждого пункта и индексы по шкале в целом.

Как пользоваться калькулятором CVI

1. Соберите оценки. Попросите каждого эксперта оценить релевантность каждого пункта конструкту по 4-балльной шкале, которую Davis (1992) обозначил так: 1 = не релевантно, 2 = отчасти релевантно, 3 = довольно релевантно, 4 = очень релевантно.
2. Вставьте их. По умолчанию таблица построена так: одна строка на эксперта и один столбец на пункт. Если в вашей таблице одна строка на пункт, выберите Один пункт в разделе Каждая строка таблицы — это. Названия в первой строке и первом столбце определяются автоматически.
3. Прочитайте таблицу пунктов. Для каждого пункта показано, сколько экспертов оценили его 3 или 4, его I-CVI, вероятность случайного согласия Pc, модифицированная каппа k* с её оценкой и соответствие минимуму Lynn. Выберите любой пункт, чтобы увидеть расчёт.
4. Опишите шкалу. Начните с S-CVI/Ave, укажите рядом S-CVI/UA, сообщите диапазон I-CVI и скачайте таблицу пунктов в CSV для приложения.

Как рассчитывается индекс валидности содержания

Оценки дихотомизируются: 3 и 4 считаются релевантными, 1 и 2 — нерелевантными. Всё остальное следует из подсчёта.

I-CVI = A ÷ N, где A — число экспертов, оценивших пункт 3 или 4, а N — число тех, кто его оценил (Lynn, 1986). Четыре из пяти экспертов дают 0,80.
S-CVI/Ave = среднее из I-CVI (Polit & Beck, 2006). Без пустых оценок оно равно средней доле пунктов, которые каждый эксперт счёл релевантными; инструмент показывает её для каждого эксперта.
S-CVI/UA = доля пунктов, которые каждый эксперт оценил 3 или 4, — универсальное согласие.
Pc = N! ÷ (A! × (N − A)!) × 0,5ᴺ: вероятность того, что ровно A из N экспертов сочтут пункт релевантным, если каждый решает, как бросает честную монетку.
k* = (I-CVI − Pc) ÷ (1 − Pc), модифицированная каппа Polit, Beck и Owen (2007), которая вычитает согласие, достижимое в малой группе по чистой случайности.

Пример: шесть экспертов оценивают восемь пунктов

Нажмите Загрузить пример. Шесть экспертов оценили восемь черновых пунктов. Четыре пункта были оценены 3 или 4 всеми шестью, два — пятью, один — четырьмя и один — тремя:

Пункты	Оценили 3 или 4	I-CVI	Pc	k*	Оценка	Lynn (6 экспертов)
1, 2, 3, 5	6 из 6	1,00	0,016	1,00	Отлично	Соответствует
6, 7	5 из 6	0,83	0,094	0,82	Отлично	Соответствует
4	4 из 6	0,67	0,234	0,56	Удовлетворительно	Ниже
8	3 из 6	0,50	0,313	0,27	Плохо	Ниже

Рабочий расчёт открывается на пункте 4 — первом пункте без универсального согласия: Pc = 6! ÷ (4! × 2!) × 0,5⁶ = 15 × 0,015625 = 0,234, а k* = (0,667 − 0,234) ÷ (1 − 0,234) = 0,56. На уровне шкалы S-CVI/Ave = (4 × 1,00 + 2 × 0,83 + 0,67 + 0,50) ÷ 8 = 0,85, а S-CVI/UA = 4 ÷ 8 = 0,50 — оба ниже обычных целевых значений.

Пункты 4 и 8 стоит переработать или убрать. Без них оставшиеся шесть пунктов дают S-CVI/Ave = 0,94 и S-CVI/UA = 0,67 — ту картину, о которой предупреждали Polit и Beck (2006): усредняющий индекс проходит порог 0,90, когда слабые пункты уходят, а универсальное согласие при шести экспертах остаётся трудно достижимым, потому что одна несогласная оценка исключает пункт из него.

Что считается хорошей валидностью содержания

Индекс	Обычный ориентир	Источник
I-CVI, 3–5 экспертов	1,00 — каждый эксперт оценивает пункт 3 или 4	Lynn (1986)
I-CVI, 6–10 экспертов	5 из 6, 6 из 7, 7 из 8, 7 из 9, 8 из 10 — никогда не ниже 0,78	Lynn (1986); Polit & Beck (2006)
k*	Отлично выше 0,74, хорошо 0,60–0,74, удовлетворительно 0,40–0,59	Polit, Beck & Owen (2007)
S-CVI/Ave	0,90 или выше	Polit & Beck (2006), после Waltz, Strickland & Lenz (2005)
S-CVI/UA	0,80 или выше — строгий стандарт	Davis (1992), в прочтении Polit & Beck (2006)

Два правила для отдельных пунктов могут расходиться. При пяти экспертах Lynn требует согласия всех пятерых, но четверо из пяти дают k* = 0,76, который Polit, Beck и Owen оценивают как отличный — и они заключили, что I-CVI 0,78 или выше при трёх и более экспертах служит признаком хорошей валидности содержания. Калькулятор показывает оба, поэтому укажите, какое правило вы применили. Для групп больше десяти экспертов таблица Lynn заканчивается, и инструмент применяет порог 0,78.

CVI измеряет согласие о релевантности, и больше ничего. Он не говорит о том, понятны ли пункты, охватывает ли набор всю конструкцию и как шкала работает с реальными респондентами — спрашивайте экспертов также о ясности и полноте охвата, а за валидацией содержания следуйте пилотными данными и анализом надёжности.

Часто задаваемые вопросы

Каким должен быть хороший индекс валидности содержания?: Для пунктов Lynn (1986) требовал I-CVI 1,00 при трёх–пяти экспертах и задавал минимумы от 5 из 6 до 8 из 10 для больших групп, но не ниже 0,78. Для шкалы в целом Polit и Beck (2006) рекомендуют S-CVI/Ave 0,90 или выше, а 0,80 — обычная строгая цель для S-CVI/UA.
Сколько экспертов нужно для индекса валидности содержания?: Lynn советовал не меньше трёх экспертов и считал, что больше десяти, вероятно, не нужно. Многие исследования используют от пяти до десяти. Большая группа делает I-CVI каждого пункта менее чувствительным к одной необычной оценке, но и универсальное согласие, а значит и S-CVI/UA, достичь труднее.
В чём разница между S-CVI/Ave и S-CVI/UA?: S-CVI/Ave усредняет I-CVI пунктов, поэтому пункт, которому релевантность подтвердили пять из шести экспертов, всё равно вносит 0,83. S-CVI/UA учитывает только пункты, которые каждый эксперт оценил 3 или 4, поэтому он снижается с ростом группы. Polit и Beck (2006) предпочитают S-CVI/Ave и советуют указывать, какой метод вы использовали.
Зачем считать модифицированную каппу, если есть I-CVI?: При малой группе высокое согласие может возникнуть по случайности: два эксперта оба скажут «релевантно» в четверти случаев, даже угадывая. Модифицированная каппа вычитает вероятность наблюдаемого согласия по биномиальному распределению, поэтому показывает, впечатляет ли I-CVI для группы такого размера.
В чём разница между CVI и CVR?: Коэффициент валидности содержания (Lawshe, 1975) спрашивает экспертов, является ли каждый пункт существенным, полезным, но не существенным или ненужным, и вычисляет CVR = (nₑ − N/2) ÷ (N/2), где nₑ — число выбравших «существенный». CVI спрашивает о релевантности по 4-балльной шкале. Они отвечают на родственные вопросы и не взаимозаменяемы; этот калькулятор считает CVI.
Можно ли использовать 3- или 5-балльную шкалу релевантности?: Lynn рекомендовал четыре балла именно для того, чтобы исключить двусмысленный средний вариант, а I-CVI различает только «релевантно» и «нерелевантно». Если ваша группа использовала другую шкалу, решите, какие оценки означают «релевантно», перекодируйте их в 4, а остальные — в 1, и вставьте перекодированную таблицу.