Что такое консенсус в исследовании Дельфи?

Единого определения нет. Обычно консенсус определяют как минимальный процент согласия (часто около 75%), максимальный межквартильный размах или и то и другое, а иногда требуют стабильности между раундами. Каким бы ни было ваше определение, задайте его до первого раунда и сообщите о нём.

Какой процент согласия считается консенсусом в Дельфи?

Пороги от 70% до 80% распространены; в систематическом обзоре Diamond et al. (2014) медианный порог среди исследований, использовавших процент согласия, составлял 75%. Это конвенция, а не правило. Выберите значение, подходящее вашей шкале и размеру панели, и обоснуйте его.

Что означает IQR 1 или меньше для консенсуса?

На пятибалльной шкале средняя половина оценок охватывает не более одного балла шкалы, поэтому большинство участников близки друг к другу. Это широко используемая конвенция. На более длинной шкале тот же предел строже, поэтому задайте порог, подходящий вашей шкале: это ваше определение.

Сколько раундов нужно исследованию Дельфи?

Обычно два или три, но число должно следовать вашему протоколу. Останавливайтесь, когда выполнены заявленные критерии или оценки перестали меняться, либо после заранее запланированного числа раундов, и укажите, какой вариант. Diamond et al. обнаружили, что большинство исследований останавливались после заданного числа раундов, а не по консенсусу.

Как процитировать Diamond et al. (2014) в APA?

Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002

Что делать с участниками, которые пропускают пункт?

Оставьте ячейку пустой. Статистика пункта использует полученные им оценки, а n показано рядом, чтобы читатель видел, сколько участников стоит за процентом. Укажите число пропусков по каждому раунду в методах.

Сохраняет ли этот инструмент оценки моей панели?

Нет. Расчёт выполняется в браузере, ничего не загружается. Если ваши оценки позволяют идентифицировать людей, используйте коды участников вместо имён в первом столбце.

Калькулятор консенсуса Дельфи

Вставьте оценки каждого раунда Дельфи — строка на участника, столбец на пункт — и получите медиану, межквартильный размах, среднее, процент согласия и несогласия по каждому пункту, затем проверьте их по выбранным правилам консенсуса: порог процента согласия, предел IQR, минимум медианы и стабильность между раундами. Работает в вашем браузере, ничего не загружается. Бесплатно, без регистрации.

Как пользоваться калькулятором консенсуса Дельфи

1. Задайте шкалу и границы. Выберите шкалу оценок, затем укажите, какие оценки считаются согласием (например, 4 и 5 на пятибалльной шкале), а какие — несогласием.
2. Включите правила. Отметьте правила консенсуса, которые ваш протокол зафиксировал до первого раунда, и задайте их пороги. Пункт имеет консенсус, когда выполнены все отмеченные правила.
3. Вставьте раунды. Одна таблица на раунд: участники — в строках, пункты — в столбцах, в одном и том же порядке каждый раз. Пустые ячейки считаются пропусками, а оценки вне шкалы пропускаются и сообщаются.
4. Читайте результаты. Каждый раунд показывает n, медиану, IQR, среднее, процент согласия и несогласия, а также результат с перечнем невыполненных правил. Вторая таблица прослеживает каждый пункт по раундам; всё можно скопировать или скачать.

Единого определения консенсуса не существует

Метод Дельфи предлагает панели оценить пункты в нескольких раундах, возвращая участникам групповые результаты между раундами, чтобы они могли пересмотреть свои оценки. Чего он не даёт — стандарта того, когда группа согласна. Систематический обзор 100 исследований Дельфи (Diamond et al., 2014) показал, что около 98 из них заявляли об оценке консенсуса, только 72 определяли его, а лишь 42 из тех, которые заключали, что консенсус достигнут, задавали порог заранее. Вывод авторов: определения сильно различаются и плохо описываются. Поэтому этот инструмент применяет ваше определение и показывает ход расчёта, а не навязывает своё.

Правило	Распространённая конвенция	Откуда это
Процент согласия	70–80% участников, оценивших в зоне согласия; 75% — обычный выбор	Самое частое определение у Diamond et al. (2014), медианный порог 75%
Межквартильный размах	IQR ≤ 1 на пятибалльной шкале	Широко используемая конвенция; критерии рассмотрены у von der Gracht (2012)
Медиана	Медиана не ниже порога, например 4 на пятибалльной шкале, чтобы пункт остался	Правило включения, специфичное для исследования
Стабильность	Небольшое изменение доли согласных между раундами	Специфично для исследования; задайте свой предел

Относитесь к первым двум строкам как к конвенциям, а не стандартам: их выбрало много исследований, и протокол, который выбирает другие значения, может быть вполне обоснованным, если заранее их заявит. Diamond et al. также обнаружили, что только 23 исследования связывали остановку с достижением консенсуса, а 70 просто останавливались после заданного числа раундов.

Почему важен метод квартилей

IQR — это Q3 минус Q1, а программы расходятся в том, как находить квартиль. Для оценок 1, 2, 3, 4, 5 включающий метод (Excel QUARTILE.INC, по умолчанию в R) даёт IQR 2, а исключающий метод (QUARTILE.EXC, SPSS) и метод медиан половин — оба дают 3. При панели из 10–20 человек на пятибалльной шкале это разница между выполнением правила IQR ≤ 1 и его невыполнением. Выберите один метод, укажите его в протоколе и сообщите о нём.

Пример

Нажмите Загрузить пример: 12 участников оценивают шесть компонентов курса от 1 до 5 в два раунда. Согласие — это 4 или 5; правила — не менее 75% согласия и IQR не более 1. В первом раунде три пункта достигают консенсуса. Предрегистрация — нет: её медиана 3, IQR 1,25, и согласны 33%. Во втором раунде медиана 4, IQR 0,25, и ровно 75% согласны, то есть правило едва выполнено. Чтение первоисточников поднимается с 67% до 92%. Качественные методы остаются вне консенсуса: согласны только 8%, и 33% не согласны, поэтому тенденция идёт к несогласию, но не достигает 75%, необходимых для консенсуса. К второму раунду пять из шести пунктов имеют консенсус.

Отчётность о консенсусе

Задайте правила до первого раунда. Шкалу, зону согласия, порог и любые правила для IQR, медианы или стабильности.
Сообщайте о каждом раунде. Сколько участников приглашено и ответило, сколько пунктов оценено и сколько достигли консенсуса, с медианой и IQR или процентом согласия по каждому пункту.
Назовите метод квартилей, если сообщаете IQR.
Опишите, как вы остановились. По консенсусу, по стабильности или после запланированного числа раундов.

Список литературы

Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002
von der Gracht, H. A. (2012). Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technological Forecasting and Social Change, 79(8), 1525–1536. https://doi.org/10.1016/j.techfore.2012.04.013

Что этот калькулятор не делает

Он сводит оценки и применяет правила; он не проектирует исследование, не подбирает панель и не проводит раунды. Согласие участников — не доказательство их правоты, а высокий процент согласия в небольшой панели непрочен. Указывайте размер панели рядом с каждым процентом.

Часто задаваемые вопросы

Что такое консенсус в исследовании Дельфи?: Единого определения нет. Обычно консенсус определяют как минимальный процент согласия (часто около 75%), максимальный межквартильный размах или и то и другое, а иногда требуют стабильности между раундами. Каким бы ни было ваше определение, задайте его до первого раунда и сообщите о нём.
Какой процент согласия считается консенсусом в Дельфи?: Пороги от 70% до 80% распространены; в систематическом обзоре Diamond et al. (2014) медианный порог среди исследований, использовавших процент согласия, составлял 75%. Это конвенция, а не правило. Выберите значение, подходящее вашей шкале и размеру панели, и обоснуйте его.
Что означает IQR 1 или меньше для консенсуса?: На пятибалльной шкале средняя половина оценок охватывает не более одного балла шкалы, поэтому большинство участников близки друг к другу. Это широко используемая конвенция. На более длинной шкале тот же предел строже, поэтому задайте порог, подходящий вашей шкале: это ваше определение.
Сколько раундов нужно исследованию Дельфи?: Обычно два или три, но число должно следовать вашему протоколу. Останавливайтесь, когда выполнены заявленные критерии или оценки перестали меняться, либо после заранее запланированного числа раундов, и укажите, какой вариант. Diamond et al. обнаружили, что большинство исследований останавливались после заданного числа раундов, а не по консенсусу.
Как процитировать Diamond et al. (2014) в APA?: Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002
Что делать с участниками, которые пропускают пункт?: Оставьте ячейку пустой. Статистика пункта использует полученные им оценки, а n показано рядом, чтобы читатель видел, сколько участников стоит за процентом. Укажите число пропусков по каждому раунду в методах.
Сохраняет ли этот инструмент оценки моей панели?: Нет. Расчёт выполняется в браузере, ничего не загружается. Если ваши оценки позволяют идентифицировать людей, используйте коды участников вместо имён в первом столбце.