델파이 연구에서 합의란 무엇인가요?

단일한 정의는 없습니다. 연구는 보통 최소 동의 비율(흔히 약 75%), 최대 사분위 범위, 또는 둘 다를 정의하며, 때로는 라운드 간 안정성을 요구합니다. 무엇을 고르든 첫 라운드 전에 정의를 정하고 보고하세요.

델파이에서 어느 정도의 동의 비율이 합의로 여겨지나요?

70~80% 사이의 기준이 흔하며, Diamond et al.(2014) 체계적 리뷰에서 동의 비율을 쓴 연구의 중앙 기준값은 75%였습니다. 이는 규칙이 아니라 관례입니다. 척도와 패널 규모에 맞는 값을 고르고 정당화하세요.

사분위 범위 1 이하는 합의에서 무엇을 뜻하나요?

5점 척도에서는 평정의 중간 절반이 최대 한 척도 점수 폭에 걸쳐 있다는 뜻이므로, 대부분의 패널리스트가 서로 가깝다는 뜻입니다. 널리 쓰이는 관례입니다. 더 긴 척도에서는 같은 한도가 더 엄격하므로, 척도에 맞게 기준을 정하세요. 정의는 여러분의 몫입니다.

델파이 연구는 몇 라운드가 필요한가요?

보통 두세 라운드이지만, 라운드 수는 프로토콜을 따라야 합니다. 정한 기준이 충족되거나 평정이 더 이상 바뀌지 않을 때, 또는 사전에 계획한 라운드 수가 끝났을 때 멈추고, 어느 것인지 말하세요. Diamond et al.은 대부분의 연구가 합의보다는 정해진 라운드 수 뒤에 멈춘다는 것을 발견했습니다.

Diamond et al.(2014)을 APA 형식으로 어떻게 인용하나요?

Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002

패널리스트가 항목을 건너뛰면 어떻게 하나요?

그 칸을 비워 두세요. 항목의 통계는 받은 평정만 사용하며, 비율 옆에 n이 표시되어 독자가 그 백분율을 뒷받침하는 응답자 수를 볼 수 있습니다. 라운드별 무응답을 연구 방법에 보고하세요.

이 도구가 패널의 평정을 저장하나요?

아니요. 계산은 브라우저에서 이루어지며 아무것도 업로드되지 않습니다. 평정이 신원을 드러낼 수 있다면, 첫 열에 이름 대신 패널리스트 코드를 쓰세요.

델파이 합의 계산기

각 델파이 라운드의 평정을 붙여넣으세요. 패널리스트는 행, 항목은 열입니다. 그러면 항목마다 중앙값, 사분위 범위, 평균, 동의 및 비동의 비율을 얻고, 여러분이 고른 합의 규칙과 비교합니다. 동의 비율 기준, IQR 한도, 중앙값 하한, 라운드 간 안정성을 설정할 수 있습니다. 모든 계산은 브라우저에서 이루어지며 아무것도 업로드되지 않습니다. 무료이며 회원가입이 필요 없습니다.

델파이 합의 계산기 사용 방법

1. 척도와 기준을 정하세요. 평정 척도를 고른 다음, 어떤 평정을 동의로 볼지(예: 5점 척도에서 4와 5) 그리고 어떤 평정을 비동의로 볼지 정하세요.
2. 규칙을 켜세요. 1라운드 전에 프로토콜로 정한 합의 규칙을 선택하고 기준값을 설정하세요. 항목은 켜 둔 모든 규칙을 충족할 때 합의에 이른 것입니다.
3. 라운드를 붙여넣으세요. 라운드마다 표 하나를 붙여넣습니다. 패널리스트는 행, 항목은 열이며, 매 라운드 항목 순서가 같아야 합니다. 빈칸은 결측으로 처리하고, 척도를 벗어난 평정은 제외하여 보고합니다.
4. 결과를 읽으세요. 각 라운드는 n, 중앙값, IQR, 평균, 동의 및 비동의 비율과, 충족하지 못한 규칙을 적은 결과를 보여 줍니다. 두 번째 표는 라운드를 따라가는 항목별 추이를 보여 주며, 모든 것을 복사하거나 내려받을 수 있습니다.

합의에 대한 단일한 정의는 없습니다

델파이 방법은 패널에게 여러 라운드에 걸쳐 항목을 평정하게 하고, 라운드 사이에 집단의 결과를 피드백하여 패널리스트가 다시 생각할 수 있게 합니다. 그러나 집단이 언제 합의했다고 볼지에 대한 기준은 제공하지 않습니다. 델파이 연구 100편을 검토한 체계적 리뷰(Diamond et al., 2014)에 따르면, 약 98편이 합의를 평가한다고 주장했지만 합의를 정의한 것은 72편뿐이었고, 합의에 도달했다고 결론 내린 연구 중 사전에 기준값을 정한 것은 42편뿐이었습니다. 저자들의 결론은 정의가 크게 다르고 보고도 부실하다는 것이었습니다. 그래서 이 도구는 하나의 정의를 강요하지 않고, 여러분의 정의를 적용하며 그 계산 과정을 보여 줍니다.

규칙	흔한 관례	출처
동의 비율	패널의 70~80%가 동의 구간에 평정; 75%가 가장 흔한 선택	Diamond et al. (2014)에서 가장 흔한 정의, 중앙 기준값 75%
사분위 범위	5점 척도에서 IQR ≤ 1	널리 쓰이는 관례; von der Gracht (2012)에서 기준 검토
중앙값	항목을 유지하기 위한 중앙값 하한, 예: 5점 척도에서 4	연구마다 다른 포함 규칙
안정성	라운드 사이에 동의하는 비율의 변화가 작음	연구마다 다름; 직접 한도를 정하세요

처음 두 행은 표준이 아니라 관례로 보세요. 많은 연구가 선택한 값이며, 다른 값을 쓰더라도 프로토콜에 먼저 밝혀 두었다면 타당한 설계가 될 수 있습니다. Diamond et al.은 합의 달성에 따라 중단한 연구는 23편뿐이었고, 70편은 정해진 라운드 수가 끝나면 그냥 멈췄다는 점도 밝혔습니다.

사분위 방법이 중요한 이유

IQR은 Q3 − Q1이며, 소프트웨어마다 사분위수를 구하는 방법이 다릅니다. 평정 1, 2, 3, 4, 5에서 포함형 방식(Excel QUARTILE.INC, R 기본값)은 IQR 2를 주는 반면, 배제형 방식(QUARTILE.EXC, SPSS)과 중앙값 나누기 방식은 모두 3을 줍니다. 5점 척도에서 10~20명의 패널이라면, 이 차이로 IQR ≤ 1 규칙을 충족하는지 여부가 갈릴 수 있습니다. 방법 하나를 고르고, 프로토콜에 명시하고, 보고하세요.

실제 예시

예시 불러오기를 누르세요. 12명의 패널리스트가 여섯 가지 수업 요소를 1~5점으로 두 라운드에 걸쳐 평정합니다. 4 또는 5를 동의로 보며, 기준은 최소 75% 동의와 IQR 1 이하입니다. 라운드 1에서는 세 항목이 합의에 이릅니다. 사전등록은 그렇지 않습니다. 중앙값은 3, IQR은 1.25, 33%가 동의합니다. 라운드 2에서는 중앙값 4, IQR 0.25, 정확히 75%가 동의하여 기준을 겨우 넘깁니다. 주요 논문 읽기는 67%에서 92%로 올라갑니다. 질적 연구 방법은 제외됩니다. 동의는 8%뿐이고 33%가 비동의하여 방향은 비동의 쪽이지만, 필요한 75%에는 못 미칩니다. 라운드 2에서 여섯 항목 중 다섯 항목이 합의 상태에 있습니다.

합의 보고하기

규칙을 1라운드 전에 밝히세요. 척도, 동의 구간, 기준값, 그리고 IQR, 중앙값 또는 안정성에 관한 모든 규칙을 적으세요.
각 라운드를 보고하세요. 초대받은 패널리스트 수와 응답한 수, 평정한 항목 수, 합의에 이른 항목 수, 그리고 각 항목의 중앙값과 IQR 또는 동의 비율을 보고하세요.
IQR을 보고한다면 사분위 방법을 밝히세요.
중단 방식을 말하세요. 합의, 안정성, 또는 사전에 계획한 라운드 수 중 어느 기준으로 멈췄는지 말하세요.

참고문헌

Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002
von der Gracht, H. A. (2012). Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technological Forecasting and Social Change, 79(8), 1525–1536. https://doi.org/10.1016/j.techfore.2012.04.013

이 계산기가 하지 않는 일

이 도구는 평정을 요약하고 규칙을 적용할 뿐입니다. 연구를 설계하거나, 패널을 구성하거나, 라운드를 진행하지는 않습니다. 패널리스트끼리 동의한다고 해서 그들이 옳다는 증거는 아니며, 소규모 패널에서 높은 동의 비율은 취약합니다. 모든 비율 옆에 패널 규모를 함께 보고하세요.

자주 묻는 질문

델파이 연구에서 합의란 무엇인가요?: 단일한 정의는 없습니다. 연구는 보통 최소 동의 비율(흔히 약 75%), 최대 사분위 범위, 또는 둘 다를 정의하며, 때로는 라운드 간 안정성을 요구합니다. 무엇을 고르든 첫 라운드 전에 정의를 정하고 보고하세요.
델파이에서 어느 정도의 동의 비율이 합의로 여겨지나요?: 70~80% 사이의 기준이 흔하며, Diamond et al.(2014) 체계적 리뷰에서 동의 비율을 쓴 연구의 중앙 기준값은 75%였습니다. 이는 규칙이 아니라 관례입니다. 척도와 패널 규모에 맞는 값을 고르고 정당화하세요.
사분위 범위 1 이하는 합의에서 무엇을 뜻하나요?: 5점 척도에서는 평정의 중간 절반이 최대 한 척도 점수 폭에 걸쳐 있다는 뜻이므로, 대부분의 패널리스트가 서로 가깝다는 뜻입니다. 널리 쓰이는 관례입니다. 더 긴 척도에서는 같은 한도가 더 엄격하므로, 척도에 맞게 기준을 정하세요. 정의는 여러분의 몫입니다.
델파이 연구는 몇 라운드가 필요한가요?: 보통 두세 라운드이지만, 라운드 수는 프로토콜을 따라야 합니다. 정한 기준이 충족되거나 평정이 더 이상 바뀌지 않을 때, 또는 사전에 계획한 라운드 수가 끝났을 때 멈추고, 어느 것인지 말하세요. Diamond et al.은 대부분의 연구가 합의보다는 정해진 라운드 수 뒤에 멈춘다는 것을 발견했습니다.
Diamond et al.(2014)을 APA 형식으로 어떻게 인용하나요?: Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002
패널리스트가 항목을 건너뛰면 어떻게 하나요?: 그 칸을 비워 두세요. 항목의 통계는 받은 평정만 사용하며, 비율 옆에 n이 표시되어 독자가 그 백분율을 뒷받침하는 응답자 수를 볼 수 있습니다. 라운드별 무응답을 연구 방법에 보고하세요.
이 도구가 패널의 평정을 저장하나요?: 아니요. 계산은 브라우저에서 이루어지며 아무것도 업로드되지 않습니다. 평정이 신원을 드러낼 수 있다면, 첫 열에 이름 대신 패널리스트 코드를 쓰세요.