Was ist Konsens in einer Delphi-Studie?

Es gibt keine einheitliche Definition. Studien definieren ihn meist als Mindestwert für die prozentuale Übereinstimmung (oft etwa 75 %), als Obergrenze für den Interquartilsabstand oder als beides, und verlangen manchmal Stabilität über die Runden. Was Sie auch wählen: Legen Sie die Definition vor der ersten Runde fest und berichten Sie sie.

Welche prozentuale Übereinstimmung gilt in einer Delphi-Studie als Konsens?

Schwellenwerte zwischen 70 % und 80 % sind üblich. In der systematischen Übersicht von Diamond et al. (2014) lag die mediane Schwelle bei Studien mit prozentualer Übereinstimmung bei 75 %. Das ist eine Konvention, keine Regel. Wählen Sie einen Wert, der zu Ihrer Skala und Panelgröße passt, und begründen Sie ihn.

Was bedeutet ein IQR von 1 oder weniger für den Konsens?

Auf einer Fünf-Punkte-Skala umfasst die mittlere Hälfte der Bewertungen höchstens einen Skalenpunkt, die Panelmitglieder liegen also eng beieinander. Das ist eine weit verbreitete Konvention. Auf einer längeren Skala ist dieselbe Grenze strenger; passen Sie den Grenzwert daher an Ihre Skala an, er ist Ihre Festlegung.

Wie viele Runden braucht eine Delphi-Studie?

Zwei oder drei Runden sind üblich, doch die Anzahl sollte sich nach Ihrem Protokoll richten. Hören Sie auf, wenn Ihre angegebenen Kriterien erfüllt sind, wenn sich die Bewertungen nicht mehr ändern oder nach einer vorab geplanten Anzahl von Runden, und sagen Sie, welches davon zutrifft. Diamond et al. fanden, dass die meisten Studien nach einer festgelegten Anzahl von Runden aufhörten statt beim Konsens.

Wie zitiere ich Diamond et al. (2014) nach APA?

Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002

Wie gehe ich mit Panelmitgliedern um, die ein Item auslassen?

Lassen Sie die Zelle leer. Die Statistik des Items verwendet die Bewertungen, die es erhalten hat, und n wird daneben angezeigt, damit Leser sehen, wie viele Panelmitglieder hinter einer Prozentzahl stehen. Berichten Sie Nichtantworten je Runde in Ihrer Methodik.

Speichert dieses Werkzeug die Bewertungen meines Panels?

Nein. Die Berechnung läuft in Ihrem Browser, und nichts wird hochgeladen. Wenn Ihre Bewertungen identifizierbar sind, verwenden Sie in der ersten Spalte Kennungen statt Namen.

Delphi-Konsens-Rechner

Fügen Sie die Bewertungen jeder Delphi-Runde ein – eine Zeile je Panelmitglied, eine Spalte je Item – und erhalten Sie für jedes Item den Median, den Interquartilsabstand, den Mittelwert sowie den prozentualen Anteil von Zustimmung und Ablehnung. Prüfen Sie diese anschließend anhand der Konsensregeln, die Sie wählen: eine Schwelle für die prozentuale Übereinstimmung, eine Obergrenze für den IQR, eine Untergrenze für den Median und die Stabilität zwischen den Runden. Der Rechner läuft in Ihrem Browser, und nichts wird hochgeladen. Kostenlos, ohne Anmeldung.

So verwenden Sie den Delphi-Konsens-Rechner

1. Legen Sie die Skala und die Spannen fest. Wählen Sie die Bewertungsskala und bestimmen Sie, welche Bewertungen als Übereinstimmung gelten (zum Beispiel 4 und 5 auf einer Fünf-Punkte-Skala) und welche als Ablehnung.
2. Schalten Sie Ihre Regeln ein. Setzen Sie das Häkchen bei den Konsensregeln, die Ihr Protokoll vor Runde 1 festgelegt hat, und stellen Sie deren Schwellenwerte ein. Ein Item hat Konsens, wenn alle angehakten Regeln erfüllt sind.
3. Fügen Sie die Runden ein. Eine Tabelle je Runde, mit Panelmitgliedern in den Zeilen und Items in den Spalten, jedes Mal in derselben Itemreihenfolge. Leere Zellen gelten als fehlend; Bewertungen außerhalb der Skala werden ausgelassen und gemeldet.
4. Lesen Sie die Ergebnisse. Jede Runde zeigt n, Median, IQR, Mittelwert, prozentuale Zustimmung und Ablehnung sowie ein Ergebnis mit den nicht erfüllten Regeln. Eine zweite Tabelle verfolgt jedes Item über die Runden, und Sie können alles kopieren oder herunterladen.

Es gibt keine einheitliche Definition von Konsens

Die Delphi-Methode lässt ein Panel Items über mehrere Runden bewerten. Zwischen den Runden werden die Ergebnisse der Gruppe zurückgemeldet, damit die Panelmitglieder ihre Einschätzungen überdenken können. Sie legt jedoch nicht fest, wann die Gruppe übereinstimmt. Eine systematische Übersicht über 100 Delphi-Studien (Diamond et al., 2014) ergab, dass etwa 98 vorgaben, Konsens zu messen, nur 72 ihn definierten und nur 42 der Studien, die Konsens feststellten, die Schwelle vorab festgelegt hatten. Die Autorinnen und Autoren kamen zu dem Schluss, dass Definitionen stark variieren und schlecht berichtet werden. Dieses Werkzeug wendet daher Ihre Definition an und zeigt deren Rechenweg, statt eine aufzuzwingen.

Regel	Übliche Konvention	Herkunft
Prozentuale Übereinstimmung	70–80 % der Panelmitglieder, die in der Zustimmungsspanne bewerten; 75 % ist die übliche Wahl	Häufigste Definition bei Diamond et al. (2014), mediane Schwelle 75 %
Interquartilsabstand	IQR ≤ 1 auf einer Fünf-Punkte-Skala	Weit verbreitete Konvention; Kriterien geprüft bei von der Gracht (2012)
Median	Median mindestens auf einem Mindestwert, etwa 4 auf einer Fünf-Punkte-Skala, damit Items behalten werden	Studienspezifische Einschlussregel
Stabilität	Geringe Veränderung des Anteils der Zustimmenden zwischen den Runden	Studienspezifisch; legen Sie Ihre eigene Grenze fest

Behandeln Sie die ersten beiden Zeilen als Konventionen, nicht als Normen: Sie sind das, wofür sich viele Studien entschieden haben, und ein Protokoll, das andere Werte wählt, kann durchaus fundiert sein, wenn es sie vorher nennt. Diamond et al. stellten außerdem fest, dass nur 23 Studien das Ende an das Erreichen von Konsens knüpften, während 70 einfach nach einer festgelegten Anzahl von Runden aufhörten.

Warum die Quartilsmethode wichtig ist

Der IQR ist Q3 minus Q1, und Programme unterscheiden sich darin, wie sie ein Quartil bestimmen. Für die Bewertungen 1, 2, 3, 4, 5 ergibt die inklusive Methode (Excel QUARTILE.INC, Standard in R) einen IQR von 2, während die exklusive Methode (QUARTILE.EXC, SPSS) und die Methode des Medians der Hälften beide 3 ergeben. Bei einem Panel mit 10 bis 20 Personen auf einer Fünf-Punkte-Skala entscheidet das darüber, ob die Regel IQR ≤ 1 erfüllt wird oder nicht. Wählen Sie eine Methode, nennen Sie sie in Ihrem Protokoll und berichten Sie sie.

Ein Beispiel

Drücken Sie Beispiel laden: 12 Panelmitglieder bewerten sechs Kursbestandteile von 1 bis 5 über zwei Runden. Übereinstimmung ist eine 4 oder 5, und die Regeln lauten: mindestens 75 % Übereinstimmung und ein IQR von höchstens 1. In Runde 1 erreichen drei Items Konsens. Die Präregistrierung erreicht ihn nicht: Ihr Median ist 3, ihr IQR 1,25, und 33 % stimmen zu. In Runde 2 hat sie einen Median von 4, einen IQR von 0,25 und genau 75 % Zustimmung, sodass sie die Schwelle gerade erreicht. Primärquellen lesen steigt von 67 % auf 92 %. Qualitative Methoden bleibt außen vor: Nur 8 % stimmen zu, und 33 % lehnen ab. Die Richtung geht also zur Ablehnung, bleibt aber unter den nötigen 75 %. In Runde 2 haben fünf der sechs Items Konsens.

Konsens berichten

Legen Sie die Regeln vor Runde 1 fest. Die Skala, die Übereinstimmungsspanne, die Schwelle und alle Regeln zu IQR, Median oder Stabilität.
Berichten Sie jede Runde. Eingeladene und antwortende Panelmitglieder, bewertete Items und die Items, die Konsens erreichen, jeweils mit Median und IQR oder prozentualer Übereinstimmung je Item.
Nennen Sie die Quartilsmethode, wenn Sie einen IQR berichten.
Geben Sie an, wie Sie aufgehört haben. Ob Sie bei Konsens, bei Stabilität oder nach einer geplanten Anzahl von Runden beendet haben.

Literaturverzeichnis

Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002
von der Gracht, H. A. (2012). Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technological Forecasting and Social Change, 79(8), 1525–1536. https://doi.org/10.1016/j.techfore.2012.04.013

Was dieser Rechner nicht leistet

Er fasst Bewertungen zusammen und wendet Regeln an; er entwirft die Studie nicht, wählt das Panel nicht aus und führt die Runden nicht durch. Übereinstimmung unter Panelmitgliedern ist kein Beleg dafür, dass sie richtig liegen, und eine hohe prozentuale Übereinstimmung in einem kleinen Panel ist fragil. Geben Sie die Panelgröße neben jeder Prozentzahl an.

Häufig gestellte Fragen

Was ist Konsens in einer Delphi-Studie?: Es gibt keine einheitliche Definition. Studien definieren ihn meist als Mindestwert für die prozentuale Übereinstimmung (oft etwa 75 %), als Obergrenze für den Interquartilsabstand oder als beides, und verlangen manchmal Stabilität über die Runden. Was Sie auch wählen: Legen Sie die Definition vor der ersten Runde fest und berichten Sie sie.
Welche prozentuale Übereinstimmung gilt in einer Delphi-Studie als Konsens?: Schwellenwerte zwischen 70 % und 80 % sind üblich. In der systematischen Übersicht von Diamond et al. (2014) lag die mediane Schwelle bei Studien mit prozentualer Übereinstimmung bei 75 %. Das ist eine Konvention, keine Regel. Wählen Sie einen Wert, der zu Ihrer Skala und Panelgröße passt, und begründen Sie ihn.
Was bedeutet ein IQR von 1 oder weniger für den Konsens?: Auf einer Fünf-Punkte-Skala umfasst die mittlere Hälfte der Bewertungen höchstens einen Skalenpunkt, die Panelmitglieder liegen also eng beieinander. Das ist eine weit verbreitete Konvention. Auf einer längeren Skala ist dieselbe Grenze strenger; passen Sie den Grenzwert daher an Ihre Skala an, er ist Ihre Festlegung.
Wie viele Runden braucht eine Delphi-Studie?: Zwei oder drei Runden sind üblich, doch die Anzahl sollte sich nach Ihrem Protokoll richten. Hören Sie auf, wenn Ihre angegebenen Kriterien erfüllt sind, wenn sich die Bewertungen nicht mehr ändern oder nach einer vorab geplanten Anzahl von Runden, und sagen Sie, welches davon zutrifft. Diamond et al. fanden, dass die meisten Studien nach einer festgelegten Anzahl von Runden aufhörten statt beim Konsens.
Wie zitiere ich Diamond et al. (2014) nach APA?: Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002
Wie gehe ich mit Panelmitgliedern um, die ein Item auslassen?: Lassen Sie die Zelle leer. Die Statistik des Items verwendet die Bewertungen, die es erhalten hat, und n wird daneben angezeigt, damit Leser sehen, wie viele Panelmitglieder hinter einer Prozentzahl stehen. Berichten Sie Nichtantworten je Runde in Ihrer Methodik.
Speichert dieses Werkzeug die Bewertungen meines Panels?: Nein. Die Berechnung läuft in Ihrem Browser, und nichts wird hochgeladen. Wenn Ihre Bewertungen identifizierbar sind, verwenden Sie in der ersten Spalte Kennungen statt Namen.