Delphi-consensuscalculator

Zo gebruik je de Delphi-consensuscalculator

1. 1. Stel de schaal en de banden in. Kies de beoordelingsschaal en geef aan welke beoordelingen als overeenstemming tellen (bijvoorbeeld 4 en 5 op een vijfpuntsschaal) en welke als onenigheid.
2. 2. Zet je regels aan. Vink de consensusregels aan die je protocol vóór ronde 1 vastlegde, en stel hun drempels in. Een item heeft consensus wanneer elke aangevinkte regel wordt gehaald.
3. 3. Plak de rondes. Eén tabel per ronde, met panelleden in rijen en items in kolommen, in dezelfde itemvolgorde elke keer. Lege cellen tellen als ontbrekend, en beoordelingen buiten de schaal worden weggelaten en gemeld.
4. 4. Lees de resultaten. Elke ronde toont n, mediaan, IQR, gemiddelde, percentage eens en oneens, en een resultaat met de niet-gehaalde regels erbij. Een tweede tabel volgt elk item over de rondes heen, en je kunt alles kopiëren of downloaden.

Er is geen enkele definitie van consensus

De Delphi-methode vraagt een panel om items over meerdere rondes te beoordelen, waarbij de resultaten van de groep tussen de rondes worden teruggekoppeld zodat panelleden hun oordeel kunnen heroverwegen. Wat de methode niet biedt, is een norm voor wanneer de groep het eens is. Een systematische review van 100 Delphi-studies (Diamond et al., 2014) vond dat ongeveer 98 beweerden consensus te meten, slechts 72 het definieerden, en slechts 42 van de studies die consensus concludeerden, vooraf een drempel hadden vastgesteld. De auteurs concludeerden dat definities sterk uiteenlopen en slecht worden gerapporteerd. Deze tool past daarom jouw definitie toe en laat zien hoe die werkt, in plaats van er één op te leggen.

Behandel de eerste twee rijen als conventies, niet als normen: het zijn de waarden die veel studies kozen, en een protocol dat andere waarden kiest, kan prima zijn als het die vooraf vermeldt. Diamond et al. vonden ook dat slechts 23 studies het stoppen koppelden aan het bereiken van consensus, terwijl 70 simpelweg stopten na een vast aantal rondes.

Waarom de kwartielmethode ertoe doet

De IQR is Q3 − Q1, en softwarepakketten verschillen in de manier waarop ze een kwartiel berekenen. Voor de beoordelingen 1, 2, 3, 4, 5 geeft de inclusieve methode (Excel QUARTILE.INC, standaard in R) een IQR van 2, terwijl de exclusieve methode (QUARTILE.EXC, SPSS) en de mediaan-van-de-helften-methode allebei 3 geven. Bij een panel van 10 tot 20 op een vijfpuntsschaal is dat het verschil tussen een IQR ≤ 1-regel halen of missen. Kies één methode, vermeld die in je protocol en rapporteer haar.

Een uitgewerkt voorbeeld

Druk op Voorbeeld laden: 12 panelleden beoordelen zes onderdelen van een cursus van 1 tot 5 over twee rondes. Overeenstemming is een 4 of 5, en de regels zijn minstens 75% overeenstemming en een IQR van 1 of minder. In ronde 1 bereiken drie items consensus. Preregistratie niet: de mediaan is 3, de IQR is 1,25, en 33% is het eens. In ronde 2 is de mediaan 4, de IQR 0,25, en precies 75% is het eens, dus het haalt de drempel net. Primaire artikelen lezen gaat van 67% naar 92%. Kwalitatieve methoden blijft erbuiten: slechts 8% is het eens, en 33% is oneens, dus de richting wijst naar onenigheid maar blijft onder de benodigde 75%. Tegen ronde 2 bevinden vijf van de zes items zich in consensus.

Consensus rapporteren

• Leg de regels vast vóór ronde 1. De schaal, de overeenstemmingsband, de drempel en eventuele regels over IQR, mediaan of stabiliteit.
• Rapporteer elke ronde. Uitgenodigde en reagerende panelleden, beoordeelde items, en items die consensus bereiken, met de mediaan en IQR of het percentage overeenstemming per item.
• Benoem de kwartielmethode als je een IQR rapporteert.
• Zeg hoe je bent gestopt. Of je stopte bij consensus, bij stabiliteit, of na een vooraf gepland aantal rondes.

Referenties

• Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002
• von der Gracht, H. A. (2012). Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technological Forecasting and Social Change, 79(8), 1525–1536. https://doi.org/10.1016/j.techfore.2012.04.013

Veelgestelde vragen

Wat is consensus in een Delphi-studie?

Er is geen enkele definitie. Studies definiëren het meestal als een minimaal percentage overeenstemming (vaak ongeveer 75%), een maximale interkwartielafstand, of beide, en soms als vereiste stabiliteit over rondes heen. Wat je ook kiest, stel de definitie vast vóór de eerste ronde en rapporteer haar.

Welk percentage overeenstemming telt als consensus in een Delphi-studie?

Drempels tussen 70% en 80% zijn gebruikelijk, en in de systematische review van Diamond et al. (2014) was de mediane drempel onder studies die percentage overeenstemming gebruikten 75%. Dat is een conventie, geen regel. Kies een waarde die bij je schaal en panelgrootte past, en onderbouw haar.

Wat betekent een IQR van 1 of minder voor consensus?

Op een vijfpuntsschaal beslaat het middelste deel van de beoordelingen hooguit één schaalpunt, dus de meeste panelleden liggen dicht bij elkaar. Het is een veelgebruikte conventie. Op een langere schaal is dezelfde grens strenger, dus stel de grenswaarde in op jouw schaal; het is aan jou om haar te bepalen.

Hoeveel rondes heeft een Delphi-studie nodig?

Twee of drie rondes zijn gebruikelijk, maar het aantal moet bij je protocol passen. Stop wanneer je vastgestelde criteria zijn gehaald of wanneer de beoordelingen niet meer veranderen, of na een vooraf gepland aantal rondes, en zeg welke van die. Diamond et al. vonden dat de meeste studies stopten na een vast aantal rondes in plaats van bij consensus.

Hoe citeer ik Diamond et al. (2014) in APA?

Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002

Hoe ga ik om met panelleden die een item overslaan?

Laat de cel leeg. De statistieken van het item gebruiken de beoordelingen die het kreeg, en n wordt ernaast getoond, zodat een lezer ziet hoeveel panelleden achter een percentage staan. Rapporteer de niet-reacties per ronde in je methodesectie.

Slaat deze tool de beoordelingen van mijn panel op?

Nee. De berekening draait in je browser en er wordt niets geüpload. Als je beoordelingen herleidbaar zijn, gebruik dan panelcodes in plaats van namen in de eerste kolom.