Calcolatore di Consenso Delphi

Come usare il calcolatore di consenso Delphi

1. 1. Imposta la scala e le fasce. Scegli la scala di valutazione, poi indica quali valutazioni contano come accordo (per esempio 4 e 5 su una scala a cinque punti) e quali come disaccordo.
2. 2. Attiva le tue regole. Spunta le regole di consenso che il tuo protocollo ha fissato prima del round 1 e imposta le loro soglie. Un item raggiunge il consenso quando sono soddisfatte tutte le regole attivate.
3. 3. Incolla i round. Una tabella per round, con i membri del panel nelle righe e gli item nelle colonne, nello stesso ordine ogni volta. Le celle vuote sono considerate mancanti, e le valutazioni fuori scala vengono escluse e segnalate.
4. 4. Leggi i risultati. Ogni round mostra n, mediana, IQR, media, % d'accordo e di disaccordo, e un esito con le regole non soddisfatte indicate. Una seconda tabella segue ogni item tra i round, e puoi copiare o scaricare tutto.

Non esiste un'unica definizione di consenso

Il metodo Delphi chiede a un panel di valutare degli item in più round, restituendo i risultati del gruppo tra un round e l'altro perché i partecipanti possano riconsiderare. Non fornisce però uno standard per stabilire quando il gruppo è d'accordo. Una revisione sistematica di 100 studi Delphi (Diamond et al., 2014) ha rilevato che circa 98 dichiaravano di valutare il consenso, solo 72 lo definivano, e solo 42 degli studi che concludevano che il consenso era stato raggiunto avevano fissato una soglia in anticipo. Gli autori concludevano che le definizioni variano molto e sono riportate male. Questo strumento applica quindi la tua definizione e ne mostra il procedimento, invece di imporne una.

Tratta le prime due righe come convenzioni, non come standard: sono ciò che molti studi hanno scelto, e un protocollo che sceglie valori diversi può essere perfettamente valido se li dichiara prima. Diamond et al. hanno anche rilevato che solo 23 studi legavano la conclusione al raggiungimento del consenso, mentre 70 si fermavano semplicemente dopo un numero fissato di round.

Perché conta il metodo dei quartili

L'IQR è Q3 meno Q1, e i software non concordano su come calcolare un quartile. Per le valutazioni 1, 2, 3, 4, 5 il metodo inclusivo (Excel QUARTILE.INC, predefinito di R) dà un IQR di 2, mentre il metodo esclusivo (QUARTILE.EXC, SPSS) e il metodo della mediana delle metà danno entrambi 3. Con un panel di 10–20 persone su una scala a cinque punti, questa è la differenza tra rispettare una regola IQR ≤ 1 e non rispettarla. Scegli un metodo, dichiaralo nel protocollo e riportalo.

Un esempio svolto

Premi Carica esempio: 12 partecipanti valutano sei componenti di un corso da 1 a 5 in due round. L'accordo è un 4 o un 5, e le regole sono almeno il 75% di accordo e un IQR di 1 o meno. Nel round 1 tre item raggiungono il consenso. La pre-registrazione no: la sua mediana è 3, il suo IQR è 1,25, e concorda il 33%. Nel round 2 ha una mediana di 4, un IQR di 0,25 e il 75% esatto concorda, quindi raggiunge appena la soglia. La lettura di articoli primari passa dal 67% al 92%. I metodi qualitativi restano fuori: concorda solo l'8%, e il 33% è in disaccordo, quindi la tendenza va verso il disaccordo ma non raggiunge il 75% necessario. Al round 2, cinque dei sei item sono in consenso.

Riportare il consenso

• Dichiara le regole prima del round 1. La scala, la fascia di accordo, la soglia e le eventuali regole su IQR, mediana o stabilità.
• Riporta ogni round. Membri del panel invitati e che hanno risposto, item valutati e item che raggiungono il consenso, con la mediana e l'IQR o la percentuale di accordo per ciascun item.
• Indica il metodo dei quartili se riporti un IQR.
• Spiega come ti sei fermato. Se ti sei fermato per consenso, per stabilità o dopo un numero di round pianificato.

Riferimenti bibliografici

• Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002
• von der Gracht, H. A. (2012). Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technological Forecasting and Social Change, 79(8), 1525–1536. https://doi.org/10.1016/j.techfore.2012.04.013

Domande frequenti

Che cos'è il consenso in uno studio Delphi?

Non esiste un'unica definizione. Gli studi di solito lo definiscono come una percentuale minima di accordo (spesso intorno al 75%), un intervallo interquartile massimo, o entrambi, e talvolta richiedono stabilità tra i round. Qualunque definizione scegli, fissala prima del primo round e riportala.

Quale percentuale di accordo conta come consenso in un Delphi?

Soglie tra il 70% e l'80% sono comuni, e nella revisione sistematica di Diamond et al. (2014) la soglia mediana tra gli studi che usavano la percentuale di accordo era del 75%. È una convenzione, non una regola. Scegli un valore adatto alla tua scala e alla dimensione del panel, e giustificalo.

Che cosa significa un IQR di 1 o meno per il consenso?

Su una scala a cinque punti la metà centrale delle valutazioni si estende al massimo di un punto della scala, quindi la maggior parte dei membri è vicina. È una convenzione molto usata. Su una scala più lunga lo stesso limite è più severo, quindi fissa la soglia in base alla tua scala: è una tua definizione.

Di quanti round ha bisogno uno studio Delphi?

Due o tre round sono tipici, ma il numero deve seguire il tuo protocollo. Fermati quando i criteri dichiarati sono soddisfatti o quando le valutazioni smettono di cambiare, oppure dopo un numero di round pianificato in anticipo, e dichiara quale. Diamond et al. hanno rilevato che la maggior parte degli studi si fermava dopo un numero fissato di round piuttosto che al raggiungimento del consenso.

Come cito Diamond et al. (2014) in APA?

Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002

Come gestisco i membri del panel che saltano un item?

Lascia la cella vuota. Le statistiche dell'item usano le valutazioni che ha ricevuto, e n è mostrato accanto così chi legge sa quanti membri stanno dietro una percentuale. Riporta le mancate risposte per ogni round nella sezione dei metodi.

Questo strumento conserva le valutazioni del mio panel?

No. Il calcolo avviene nel tuo browser e nulla viene caricato. Se le tue valutazioni sono identificabili, usa codici dei partecipanti invece dei nomi nella prima colonna.