德尔菲共识计算器
粘贴德尔菲每一轮的评分——每行一位专家,每列一个条目——即可得到每个条目的中位数、四分位距(IQR)、均值,以及同意与不同意的百分比;然后依据您选定的共识规则进行检验:同意百分比阈值、IQR 上限、中位数下限,以及轮次之间的稳定性。计算在您的浏览器中完成,不会上传任何内容。免费,无需注册。
更改量表会将这些设置重置为常见的起始值。请将其设为您的方案所规定的数值。
共识规则
德尔菲研究中并没有单一的共识定义。请开启您的方案事先确定的规则;当每条已开启的规则都满足时,某个条目即达成共识。
四分位数——以及由此得出的 IQR——取决于所用的方法,在小样本中尤其如此。请报告您所用的方法。
各轮
每轮粘贴一张表:每位专家一行,每个条目一列,且每轮条目顺序相同。空白单元格即为缺失评分。
结果
请至少粘贴一轮评分,以查看统计结果。
如何使用德尔菲共识计算器
- 1. 设定量表和区间。 选择评分量表,然后指定哪些评分算作同意(例如五点量表上的 4 和 5),以及哪些算作不同意。
- 2. 开启您的规则。 勾选您的方案在第 1 轮之前确定的共识规则,并设定其阈值。当每条已勾选的规则都满足时,该条目即达成共识。
- 3. 粘贴各轮数据。 每轮一张表,专家为行、条目为列,且每轮的条目顺序相同。空白单元格视为缺失评分;超出量表范围的评分会被剔除,并予以报告。
- 4. 阅读结果。 每一轮显示 n、中位数、IQR、均值、同意与不同意的百分比,以及结果和未满足的规则。第二张表按条目跟踪各轮情况,您可以复制或下载全部内容。
共识并没有单一的定义
德尔菲法要求专家小组在若干轮中对条目进行评分,并在轮次之间反馈小组的结果,使专家能够重新考虑。它没有提供的是判断小组何时达成一致的标准。对 100 项德尔菲研究的系统综述(Diamond et al., 2014)发现,约 98 项研究声称评估了共识,只有 72 项给出了定义,而在那些宣布达成共识的研究中,只有 42 项事先设定了阈值。作者的结论是,定义差异很大,且报告不充分。因此,本工具会应用您的定义并展示其计算过程,而不是强加某一种定义。
| 规则 | 常见惯例 | 出处 |
|---|---|---|
| 同意百分比 | 70–80% 的专家在同意区间内评分;75% 是常用的选择 | Diamond et al. (2014) 中最常见的定义,中位阈值为 75% |
| 四分位距(IQR) | 五点量表上 IQR ≤ 1 | 一种广泛使用的惯例;标准见 von der Gracht (2012) |
| 中位数 | 中位数不低于某个下限(例如五点量表上的 4),条目方可保留 | 研究特定的纳入规则 |
| 稳定性 | 各轮之间表示同意的比例变化很小 | 因研究而异;请设定您自己的限值 |
请将前两行视为惯例,而非标准:它们是许多研究所选的数值,只要协议事先说明了不同的取值,采用其他数值的方案同样可以是合理的。Diamond et al. 还发现,只有 23 项研究将停止条件与达成共识挂钩,而 70 项研究只是在设定的轮数之后就停止了。
为什么四分位数方法很重要
IQR 是 Q3 减去 Q1,而不同软件对四分位数的求法并不相同。对于评分 1、2、3、4、5,包含法(Excel QUARTILE.INC,R 的默认方法)给出的 IQR 为 2,而排除法(QUARTILE.EXC,SPSS)和中位数分半法都给出 3。对于五点量表上 10 至 20 位专家的小组,这正是满足 IQR ≤ 1 规则与否的差别。请选定一种方法,在方案中说明并报告。
一个示例
按下加载示例:12 位专家在两轮中从 1 到 5 为六个课程部分评分。同意为 4 或 5,规则为至少 75% 同意且 IQR 不超过 1。第 1 轮中有三个条目达成共识。“预先注册”则未达成:其中位数为 3,IQR 为 1.25,只有 33% 同意。第 2 轮中它的中位数为 4,IQR 为 0.25,恰好有 75% 同意,刚好达到阈值。“阅读原始文献”的同意比例从 67% 上升到 92%。“质性研究方法”仍未达成:只有 8% 同意,33% 不同意,因此趋势朝向不同意,但未达到所需的 75%。到第 2 轮时,六个条目中有五个达成共识。
报告共识
- 在第 1 轮之前说明规则。 量表、同意区间、阈值,以及关于 IQR、中位数或稳定性的任何规则。
- 报告每一轮。 受邀与回复的专家人数、评分的条目数,以及达成共识的条目数,并附上每个条目的中位数与 IQR 或同意百分比。
- 若报告 IQR,请注明四分位数方法。
- 说明您如何停止。 是在达成共识后停止、因稳定而停止,还是在计划好的轮数之后停止。
参考文献
- Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002
- von der Gracht, H. A. (2012). Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technological Forecasting and Social Change, 79(8), 1525–1536. https://doi.org/10.1016/j.techfore.2012.04.013
本计算器不做什么
它汇总评分并应用规则;它不设计研究、不选择专家小组,也不负责进行各轮。专家之间的一致并不能证明他们是对的,而且小样本中很高的同意百分比是脆弱的。请在每个百分比旁边报告专家小组的规模。
常见问题
- 德尔菲研究中的共识是什么?
- 并没有单一的定义。研究通常将其定义为最低同意百分比(常为约 75%)、最大 IQR,或两者兼有,有时还要求各轮之间保持稳定。无论您选择哪一种,都应在第一轮之前确定定义并加以报告。
- 德尔菲研究中多大的同意百分比算达成共识?
- 70% 至 80% 之间的阈值很常见,在 Diamond et al. (2014) 的系统综述中,使用同意百分比的研究的中位阈值为 75%。这是一种惯例,而非规则。请选择适合您的量表和专家规模的数值,并加以论证。
- IQR 为 1 或更小对于共识意味着什么?
- 在五点量表上,中间一半的评分跨度至多为一个量表点,因此大多数专家的意见彼此接近。这是一种广泛使用的惯例。在更长的量表上,同样的限值会更严格,因此请根据您的量表设定截止值;这由您自行定义。
- 德尔菲研究需要多少轮?
- 通常为两至三轮,但轮数应遵循您的方案。当您设定的标准得到满足、评分不再变化,或达到预先计划的轮数时停止,并说明是哪一种情况。Diamond et al. 发现,大多数研究是在设定的轮数之后停止的,而非因达成共识而停止。
- 如何按 APA 格式引用 Diamond et al. (2014)?
- Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002
- 如何处理跳过某个条目的专家?
- 将该单元格留空。该条目的统计量只使用其所收到的评分,并且会在旁边显示 n,使读者能看到百分比背后有多少位专家。请在方法部分报告每轮的未回复情况。
- 本工具会存储我的专家评分吗?
- 不会。计算在您的浏览器中完成,不会上传任何内容。如果您的评分可以识别身份,请在第一列使用专家编号而非姓名。