デルファイ研究におけるコンセンサスとは何ですか？

単一の定義はありません。研究では通常、最低限の一致率（しばしば約75%）、最大の四分位範囲、またはその両方を定義し、場合によってはラウンド間の安定性も求めます。どのような定義を選ぶにしても、最初のラウンドの前に設定し、報告してください。

デルファイ法で一致率がいくつならコンセンサスとみなされますか？

70%から80%の閾値が一般的です。Diamond et al.（2014）のシステマティックレビューでは、一致率を使った研究の中央値の閾値は75%でした。それは規則ではなく慣行です。尺度とパネルの規模に合った値を選び、その理由を示してください。

コンセンサスにおいて、IQRが1以下とはどういう意味ですか？

5段階尺度では、評定の中央の半分が最大で1つの尺度の目盛りの幅に収まるということで、ほとんどのパネリストが互いに近い評定をしていることを意味します。広く使われている慣行です。より長い尺度では同じ上限はより厳しくなるので、尺度に合わせて閾値を設定してください。それはあなたが定義するものです。

デルファイ研究には何ラウンド必要ですか？

2〜3ラウンドが一般的ですが、ラウンド数はプロトコルに従うべきです。定めた基準が満たされたとき、評定が変わらなくなったとき、または事前に計画したラウンド数の後で止め、そのどれかを述べてください。Diamond et al. は、多くの研究がコンセンサスではなく、事前に定めた回数のラウンドの後で止めていたことを示しています。

Diamond et al.（2014）をAPAでどのように引用しますか？

Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002

項目に回答しなかったパネリストはどう扱えばよいですか？

その欄は空欄のままにしてください。項目の統計は、受け取った評定だけを使います。その隣にnが示されるので、読者はその割合を支える人数がわかります。ラウンドごとの無回答は、方法の中で報告してください。

このツールはパネルの評定を保存しますか？

いいえ。計算はブラウザ内で行われ、何もアップロードされません。評定が特定可能な場合は、最初の列に名前ではなくパネリストのコードを使ってください。

デルファイ法コンセンサス計算ツール

各ラウンドの評定を貼り付けます。行がパネリスト、列が項目です。すべての項目について、中央値、四分位範囲、平均、一致率と不一致率が得られます。それを、選んだコンセンサス基準、つまり一致率の閾値、IQRの上限、中央値の下限、ラウンド間の安定性と照らし合わせます。計算はブラウザ内で行われ、何もアップロードされません。無料で、登録は不要です。

デルファイ法コンセンサス計算ツールの使い方

1. 尺度と判定の範囲を設定します。 評定尺度を選び、どの評定を同意とみなすか（たとえば5段階尺度で4と5）、どの評定を不同意とみなすかを決めます。
2. ルールをオンにします。 1ラウンド目の前にプロトコルで定めたコンセンサス基準をオンにし、その閾値を設定します。オンにしたすべての基準を満たした項目が、コンセンサスとみなされます。
3. ラウンドを貼り付けます。 ラウンドごとに1つの表を、パネリストを行、項目を列にして貼り付けます。項目の順序は毎回同じにしてください。空欄は欠測値として扱われ、尺度の範囲外の評定は除外されて報告されます。
4. 結果を読みます。 各ラウンドについて、n、中央値、IQR、平均、一致率と不一致率、そして満たされなかった基準を示す結果が表示されます。2つ目の表は、各項目をラウンドをまたいで追います。結果はすべてコピーまたはダウンロードできます。

コンセンサスの定義は1つではありません

デルファイ法では、パネルが数回のラウンドにわたって項目を評定し、ラウンドの間に集団の結果を提示して、パネリストが再考できるようにします。しかし、集団がいつ合意したとみなすかの基準は提供しません。100件のデルファイ研究を対象としたシステマティックレビュー（Diamond et al., 2014）では、約98件がコンセンサスを評価したと主張していましたが、定義していたのは72件で、コンセンサスに達したと結論づけた研究のうち、閾値を事前に設定していたのは42件にすぎませんでした。著者らの結論は、定義は大きく異なり、報告も不十分だというものです。そこでこのツールは、特定の定義を押し付けるのではなく、あなたの定義を適用し、その計算過程を示します。

基準	一般的な慣行	出典
一致率	パネリストの70〜80%が同意の範囲で評定すること。75%が通常の選択	Diamond et al.（2014）で最も一般的な定義。中央値の閾値は75%
四分位範囲	5段階尺度でIQR ≤ 1	広く使われている慣行。von der Gracht（2012）で基準を検討
中央値	項目を残すための、中央値の下限（5段階尺度なら4など）	研究ごとの組み入れ基準
安定性	ラウンド間で同意する割合の変化が小さいこと	研究ごとに異なる。上限は自分で設定

最初の2行は、慣行として扱ってください。多くの研究が選んだ値であり、異なる値を事前に明記したプロトコルも、十分に妥当なものになりえます。Diamond et al. はまた、コンセンサスの達成に基づいて停止したのは23件のみで、70件は単に、事前に決めた回数のラウンドの後で終わっていたことも示しました。

四分位の算出方法が重要な理由

IQRは第3四分位数から第1四分位数を引いたものですが、ソフトウェアによって四分位数の求め方が異なります。評定 1、2、3、4、5 では、包含的な方法（Excel の QUARTILE.INC、R の既定）はIQRを2とし、排他的な方法（QUARTILE.EXC、SPSS）と中央値の二分法はどちらも3とします。5段階尺度で10〜20人のパネルでは、これがIQR ≤ 1 の基準を満たすか否かの違いになります。1つの方法を選び、プロトコルに記載し、報告してください。

計算例

例を読み込むを押すと、12人のパネリストが2ラウンドにわたって、6つの授業要素を1〜5で評定した例が表示されます。同意は4または5で、基準は一致率75%以上、IQR 1以下です。1ラウンド目では、3項目がコンセンサスに達します。「事前登録」はそうなりません。中央値は3、IQRは1.25、同意は33%です。2ラウンド目では、中央値が4、IQRが0.25、同意がちょうど75%となり、閾値をちょうど満たします。「一次論文の読解」は67%から92%へ上がります。「質的研究法」は除外されたままです。同意は8%のみで、不同意が33%なので方向は不同意寄りですが、必要な75%には届きません。2ラウンド目までに、6項目のうち5項目がコンセンサスに達しています。

コンセンサスの報告

1ラウンド目の前に基準を明記してください。 尺度、同意の範囲、閾値、そしてIQR、中央値、安定性に関する基準があれば、それも書いてください。
各ラウンドを報告してください。 招待されたパネリストと回答者、評定された項目、コンセンサスに達した項目を、各項目の中央値とIQRまたは一致率とともに示してください。
IQRを報告する場合は、四分位の方法を明記してください。
どのように終了したかを述べてください。 コンセンサス、安定性、あらかじめ定めたラウンド数のいずれで止めたかを書いてください。

参考文献

Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002
von der Gracht, H. A. (2012). Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technological Forecasting and Social Change, 79(8), 1525–1536. https://doi.org/10.1016/j.techfore.2012.04.013

このツールがしないこと

このツールは評定をまとめ、規則を適用するものです。研究の設計、パネルの選定、ラウンドの実施はしません。パネリストの間の一致は、彼らが正しいことの証拠ではありません。また、小さなパネルでの高い一致率は脆弱です。パーセントの横には、必ずパネルの規模を併記してください。

よくある質問

デルファイ研究におけるコンセンサスとは何ですか？: 単一の定義はありません。研究では通常、最低限の一致率（しばしば約75%）、最大の四分位範囲、またはその両方を定義し、場合によってはラウンド間の安定性も求めます。どのような定義を選ぶにしても、最初のラウンドの前に設定し、報告してください。
デルファイ法で一致率がいくつならコンセンサスとみなされますか？: 70%から80%の閾値が一般的です。Diamond et al.（2014）のシステマティックレビューでは、一致率を使った研究の中央値の閾値は75%でした。それは規則ではなく慣行です。尺度とパネルの規模に合った値を選び、その理由を示してください。
コンセンサスにおいて、IQRが1以下とはどういう意味ですか？: 5段階尺度では、評定の中央の半分が最大で1つの尺度の目盛りの幅に収まるということで、ほとんどのパネリストが互いに近い評定をしていることを意味します。広く使われている慣行です。より長い尺度では同じ上限はより厳しくなるので、尺度に合わせて閾値を設定してください。それはあなたが定義するものです。
デルファイ研究には何ラウンド必要ですか？: 2〜3ラウンドが一般的ですが、ラウンド数はプロトコルに従うべきです。定めた基準が満たされたとき、評定が変わらなくなったとき、または事前に計画したラウンド数の後で止め、そのどれかを述べてください。Diamond et al. は、多くの研究がコンセンサスではなく、事前に定めた回数のラウンドの後で止めていたことを示しています。
Diamond et al.（2014）をAPAでどのように引用しますか？: Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002
項目に回答しなかったパネリストはどう扱えばよいですか？: その欄は空欄のままにしてください。項目の統計は、受け取った評定だけを使います。その隣にnが示されるので、読者はその割合を支える人数がわかります。ラウンドごとの無回答は、方法の中で報告してください。
このツールはパネルの評定を保存しますか？: いいえ。計算はブラウザ内で行われ、何もアップロードされません。評定が特定可能な場合は、最初の列に名前ではなくパネリストのコードを使ってください。