Calculadora de consenso Delphi
Cole as notas de cada rodada Delphi — uma linha por painelista, uma coluna por item — e obtenha a mediana, a amplitude interquartil, a média e a porcentagem de concordância e de discordância de cada item; depois teste-os contra as regras de consenso que você escolher: um limite de concordância percentual, um limite de AIQ, um piso para a mediana e a estabilidade entre rodadas. Roda no seu navegador e nada é enviado. Gratuito, sem cadastro.
Mudar a escala redefine estes valores para pontos de partida comuns. Ajuste-os ao que o seu protocolo estabelece.
Regras de consenso
Não existe uma definição única de consenso em estudos Delphi. Ative as regras que o seu protocolo fixou antecipadamente; um item atinge consenso quando todas as regras ativadas são cumpridas.
Os quartis — e portanto a amplitude interquartil — dependem do método, sobretudo em painéis pequenos. Informe qual você usou.
Rodadas
Cole uma tabela por rodada: uma linha por painelista e uma coluna por item, na mesma ordem de itens em todas as rodadas. Células vazias são notas ausentes.
Resultados
Cole pelo menos uma rodada de notas para ver as estatísticas.
Como usar a calculadora de consenso Delphi
- 1. Defina a escala e as faixas. Escolha a escala de notas e diga quais notas contam como concordância (por exemplo, 4 e 5 em uma escala de cinco pontos) e quais contam como discordância.
- 2. Ative suas regras. Marque as regras de consenso que seu protocolo fixou antes da rodada 1 e defina seus limites. Um item tem consenso quando todas as regras marcadas são cumpridas.
- 3. Cole as rodadas. Uma tabela por rodada, com painelistas nas linhas e itens nas colunas, na mesma ordem de itens em cada rodada. Células vazias contam como notas ausentes, e notas fora da escala são deixadas de fora e informadas.
- 4. Leia os resultados. Cada rodada mostra n, mediana, AIQ, média, % de concordância e de discordância, e um resultado com as regras não atendidas indicadas. Uma segunda tabela acompanha cada item entre as rodadas, e você pode copiar ou baixar tudo.
Não existe uma única definição de consenso
O método Delphi pede que um painel avalie itens em várias rodadas, devolvendo os resultados do grupo entre as rodadas para que os painelistas possam reconsiderar. O que ele não fornece é um padrão para decidir quando o grupo concorda. Uma revisão sistemática de 100 estudos Delphi (Diamond et al., 2014) constatou que cerca de 98 afirmavam avaliar o consenso, apenas 72 o definiam, e somente 42 dos estudos que concluíram ter havido consenso tinham fixado um limite antecipadamente. Os autores concluíram que as definições variam muito e são mal relatadas. Por isso, esta ferramenta aplica a sua definição e mostra o cálculo, em vez de impor uma.
| Regra | Convenção comum | De onde vem |
|---|---|---|
| Concordância percentual | 70–80% dos painelistas avaliando na faixa de concordância; 75% é a escolha mais usual | Definição mais comum em Diamond et al. (2014), com limiar mediano de 75% |
| Amplitude interquartil (AIQ) | AIQ ≤ 1 em uma escala de 5 pontos | Convenção amplamente usada; critérios revisados em von der Gracht (2012) |
| Mediana | Mediana igual ou acima de um piso, como 4 em uma escala de 5 pontos, para que os itens sejam mantidos | Regra de inclusão específica do estudo |
| Estabilidade | Pouca mudança na proporção que concorda entre as rodadas | Específica do estudo; defina seu próprio limite |
Trate as duas primeiras linhas como convenções, não como padrões: são o que muitos estudos escolheram, e um protocolo que escolha outros valores pode ser perfeitamente sólido, desde que os declare primeiro. Diamond et al. também constataram que apenas 23 estudos vincularam o encerramento ao alcance do consenso, enquanto 70 simplesmente pararam após um número fixo de rodadas.
Por que o método de quartis importa
A amplitude interquartil é Q3 menos Q1, e os programas discordam sobre como encontrar um quartil. Para as notas 1, 2, 3, 4, 5, o método inclusivo (Excel QUARTILE.INC, padrão do R) dá uma amplitude de 2, enquanto o método exclusivo (QUARTILE.EXC, SPSS) e o método da mediana das metades dão 3. Com um painel de 10 a 20 pessoas em uma escala de cinco pontos, essa diferença separa cumprir uma regra de AIQ ≤ 1 de não cumpri-la. Escolha um método, declare-o no protocolo e informe-o.
Um exemplo prático
Pressione Carregar exemplo: 12 painelistas avaliam seis componentes de um curso de 1 a 5 em duas rodadas. Concordância é uma nota 4 ou 5, e as regras são pelo menos 75% de concordância e um AIQ de 1 ou menos. Na rodada 1, três itens atingem consenso. O pré-registro não: sua mediana é 3, seu AIQ é 1,25, e 33% concordam. Na rodada 2, ele tem mediana 4, AIQ de 0,25, e exatamente 75% concordam, o que apenas atinge o limite. Leitura de artigos primários passa de 67% para 92%. Métodos qualitativos fica de fora: só 8% concordam e 33% discordam, então a direção aponta para a discordância, mas fica aquém dos 75% necessários. Na rodada 2, cinco dos seis itens estão em consenso.
Como relatar o consenso
- Declare as regras antes da rodada 1. A escala, a faixa de concordância, o limiar e qualquer regra sobre AIQ, mediana ou estabilidade.
- Relate cada rodada. Painelistas convidados e que responderam, itens avaliados e itens que atingiram consenso, com a mediana e o AIQ ou a concordância percentual de cada item.
- Diga qual método de quartis usou se relatar um AIQ.
- Diga como encerrou. Se parou por consenso, por estabilidade ou após um número planejado de rodadas.
Referências
- Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002
- von der Gracht, H. A. (2012). Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technological Forecasting and Social Change, 79(8), 1525–1536. https://doi.org/10.1016/j.techfore.2012.04.013
O que esta calculadora não faz
Ela resume notas e aplica regras; não planeja o estudo, não escolhe o painel nem conduz as rodadas. Concordância entre painelistas não é evidência de que eles estejam certos, e uma alta concordância percentual em um painel pequeno é frágil. Informe o tamanho do painel ao lado de cada porcentagem.
Perguntas frequentes
- O que é consenso em um estudo Delphi?
- Não existe uma definição única. Os estudos normalmente definem consenso como uma concordância percentual mínima (muitas vezes cerca de 75%), uma amplitude interquartil máxima, ou ambas, e às vezes exigem estabilidade entre rodadas. Seja qual for a sua escolha, defina-a antes da primeira rodada e informe-a.
- Qual concordância percentual conta como consenso em um Delphi?
- Limiares entre 70% e 80% são comuns, e na revisão sistemática de Diamond et al. (2014) o limiar mediano entre os estudos que usavam concordância percentual foi de 75%. Isso é uma convenção, não uma regra. Escolha um valor que se adapte à sua escala e ao tamanho do painel, e justifique-o.
- O que um AIQ de 1 ou menos significa para o consenso?
- Em uma escala de cinco pontos, a metade central das notas abrange no máximo um ponto da escala, então a maioria dos painelistas está próxima. É uma convenção amplamente usada. Em uma escala mais longa, o mesmo limite é mais rigoroso, então ajuste o corte à sua escala; ele é seu para definir.
- Quantas rodadas um estudo Delphi precisa?
- Duas ou três rodadas são típicas, mas o número deve seguir seu protocolo. Pare quando seus critérios declarados forem atingidos, quando as notas deixarem de mudar, ou após um número de rodadas planejado antecipadamente, e diga qual deles. Diamond et al. constataram que a maioria dos estudos parou após um número fixo de rodadas, e não por consenso.
- Como cito Diamond et al. (2014) em APA?
- Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002
- Como lido com painelistas que pulam um item?
- Deixe a célula em branco. As estatísticas do item usam as notas que ele recebeu, e o n aparece ao lado delas, para que o leitor veja quantos painelistas sustentam uma porcentagem. Informe as não respostas por rodada nos seus métodos.
- Esta ferramenta armazena as notas do meu painel?
- Não. O cálculo roda no seu navegador e nada é enviado. Se suas notas forem identificáveis, use códigos de painelista em vez de nomes na primeira coluna.