좋은 내용 타당도 지수는 무엇인가요?

항목에 대해서 Lynn(1986)은 전문가 3~5명일 때 I-CVI 1.00을 요구했고, 더 큰 패널에는 6명 중 5명에서 10명 중 8명까지 최소 기준을 정했으며, 어떤 경우에도 0.78 미만은 안 된다고 했습니다. 척도 전체에 대해서는 Polit과 Beck(2006)이 S-CVI/Ave 0.90 이상을 권장하고, S-CVI/UA 0.80은 흔한 엄격한 목표입니다.

내용 타당도 지수에는 전문가가 몇 명 필요한가요?

Lynn은 최소 세 명을 권하고, 열 명을 넘는 것은 아마 불필요하다고 했습니다. 많은 연구가 5~10명을 씁니다. 전문가가 많을수록 한 명의 특이한 평가에 항목별 I-CVI가 덜 민감해지지만, 보편 합의와 그에 따른 S-CVI/UA는 달성하기 어려워집니다.

S-CVI/Ave와 S-CVI/UA의 차이는 무엇인가요?

S-CVI/Ave는 항목별 I-CVI를 평균하므로, 여섯 명 중 다섯 명이 관련 있다고 본 항목도 0.83을 기여합니다. S-CVI/UA는 모든 전문가가 3 또는 4로 평가한 항목만 세므로 패널이 커질수록 낮아집니다. Polit과 Beck(2006)은 S-CVI/Ave를 선호하며, 사용한 방법을 밝혀 보고하라고 권합니다.

I-CVI와 함께 수정 카파를 계산하는 이유는 무엇인가요?

전문가가 적을 때는 우연히도 높은 일치가 나올 수 있습니다. 두 전문가가 찍기만 해도 둘 다 관련 있다고 답하는 경우가 4분의 1쯤 됩니다. 수정 카파는 관찰된 일치의 이항 확률을 빼므로, 그 규모의 패널에서 I-CVI가 인상적인지 보여 줍니다.

내용 타당도 지수(CVI)와 내용 타당도 비율(CVR)의 차이는 무엇인가요?

내용 타당도 비율(Lawshe, 1975)은 각 항목이 필수적인지, 유용하지만 필수는 아닌지, 필요 없는지를 묻고 CVR = (nₑ − N/2) ÷ (N/2)로 계산합니다. 여기서 nₑ는 필수라고 고른 사람 수입니다. CVI는 대신 4점 척도로 관련성을 묻습니다. 두 방식은 관련된 질문에 답하지만 서로 바꿔 쓸 수 없으며, 이 계산기는 CVI를 계산합니다.

3점 또는 5점 관련성 척도를 쓸 수 있나요?

Lynn은 애매한 중간 선택지를 피하려고 4점 척도를 권했고, I-CVI는 관련 있음과 관련 없음만 구분합니다. 다른 척도를 썼다면 어떤 평가를 관련 있음으로 볼지 정하고, 그 평가는 4로, 나머지는 1로 다시 코드화한 다음 변환된 표를 붙여 넣으세요.

내용 타당도 지수(CVI) 계산기

전문가 패널의 관련성 평가(항목마다 1~4점)를 붙여 넣으면, 각 항목의 I-CVI와 우연 일치를 보정한 수정 카파(modified kappa), 척도 수준의 S-CVI/Ave와 S-CVI/UA를 얻습니다. 패널 규모에 맞는 Lynn(1986) 최소 기준 충족 여부도 확인하고, 고른 항목의 계산 과정을 보여 줍니다. 무료이며 회원가입이 필요 없고, 평가 자료는 브라우저 밖으로 나가지 않습니다.

1~4점 관련성 평가

스프레드시트에서 붙여 넣거나, 쉼표나 공백으로 구분한 평가를 입력하세요: 1 = 관련 없음, 2 = 다소 관련 있음, 3 = 상당히 관련 있음, 4 = 매우 관련 있음. 빈 칸은 건너뜁니다.

첫 행에 이름이 있음첫 열에 이름이 있음

표의 각 행은

전문가 한 명항목 하나

결과

전문가 패널의 평가를 붙여 넣거나 예시를 불러오면, 모든 항목의 I-CVI와 척도 수준 CVI가 나타납니다.

CVI 계산기 사용 방법

1. 평가를 모으세요. 각 전문가에게 Davis(1992)가 제시한 4점 척도로 모든 항목의 구성 개념 관련성을 평가하도록 하세요: 1 = 관련 없음, 2 = 다소 관련 있음, 3 = 상당히 관련 있음, 4 = 매우 관련 있음.
2. 붙여 넣으세요. 기본 형식은 한 행에 전문가 한 명, 한 열에 항목 하나입니다. 시트가 한 행에 항목 하나로 되어 있다면 표의 각 행은 아래에서 항목 하나를 고르세요. 첫 행과 첫 열의 이름은 자동으로 인식됩니다.
3. 항목 표를 읽으세요. 각 항목은 3 또는 4로 평가한 전문가 수, I-CVI, 우연 일치 Pc, 수정 카파 k*와 그 평가, 그리고 Lynn 최소 기준 충족 여부를 보여 줍니다. 항목을 고르면 계산 과정이 나타납니다.
4. 척도를 보고하세요. S-CVI/Ave를 먼저 제시하고 S-CVI/UA를 나란히 적으며, I-CVI의 범위를 보고하고, 항목 표는 부록용으로 CSV로 내려받으세요.

내용 타당도 지수 계산 방법

평가는 이분화합니다. 3과 4는 관련 있음, 1과 2는 관련 없음으로 셉니다. 나머지는 모두 세기에서 나옵니다.

I-CVI = A ÷ N. 여기서 A는 항목을 3 또는 4로 평가한 전문가 수이고, N은 그 항목을 평가한 전문가 수입니다(Lynn, 1986). 다섯 명 중 네 명이면 0.80입니다.
S-CVI/Ave = I-CVI들의 평균(Polit & Beck, 2006). 빈 평가가 없다면 각 전문가가 관련 있다고 본 항목 비율의 평균과 같으며, 이 도구는 전문가별로 그 값을 보여 줍니다.
S-CVI/UA = 모든 전문가가 3 또는 4로 평가한 항목의 비율. 보편 합의(universal agreement)입니다.
Pc = N! ÷ (A! × (N − A)!) × 0.5ᴺ: 각 전문가가 공정한 동전을 던져 결정한다면 N명 중 정확히 A명이 항목을 관련 있다고 볼 확률입니다.
k* = (I-CVI − Pc) ÷ (1 − Pc). Polit, Beck, Owen(2007)의 수정 카파로, 작은 패널에서 우연히 생길 수 있는 일치를 할인합니다.

실습 예시: 전문가 6명이 항목 8개를 평가

예시 불러오기를 누르세요. 전문가 여섯 명이 초안 항목 여덟 개를 평가했습니다. 네 항목은 여섯 명 모두가 3 또는 4로, 두 항목은 다섯 명이, 한 항목은 네 명이, 한 항목은 세 명이 3 또는 4로 평가했습니다:

항목	3 또는 4로 평가	I-CVI	Pc	k*	평가	Lynn (6명)
1, 2, 3, 5	6명 중 6명	1.00	0.016	1.00	우수	충족
6, 7	6명 중 5명	0.83	0.094	0.82	우수	충족
4	6명 중 4명	0.67	0.234	0.56	보통	미달
8	6명 중 3명	0.50	0.313	0.27	미흡	미달

계산 과정 패널은 보편 합의가 없는 첫 항목인 항목 4에서 열립니다: Pc = 6! ÷ (4! × 2!) × 0.5⁶ = 15 × 0.015625 = 0.234, k* = (0.667 − 0.234) ÷ (1 − 0.234) = 0.56. 척도 수준에서는 S-CVI/Ave = (4 × 1.00 + 2 × 0.83 + 0.67 + 0.50) ÷ 8 = 0.85, S-CVI/UA = 4 ÷ 8 = 0.50입니다. 둘 다 흔히 쓰는 목표치에 못 미칩니다.

항목 4와 8은 수정하거나 빼야 할 항목입니다. 두 항목을 빼면 나머지 여섯 항목은 S-CVI/Ave = 0.94, S-CVI/UA = 0.67에 이릅니다. Polit과 Beck(2006)이 경고한 패턴입니다. 약한 항목이 빠지면 평균 지수는 0.90을 넘지만, 여섯 명의 패널에서는 보편 합의에 이르기 어렵습니다. 한 명의 이견만으로도 그 항목이 보편 합의에서 빠지기 때문입니다.

좋은 내용 타당도의 기준

지수	일반적 기준	출처
I-CVI, 전문가 3~5명	1.00 — 모든 전문가가 3 또는 4로 평가	Lynn (1986)
I-CVI, 전문가 6~10명	6명 중 5명, 7명 중 6명, 8명 중 7명, 9명 중 7명, 10명 중 8명 — 0.78 미만으로는 내려가지 않음	Lynn (1986); Polit & Beck (2006)
k*	0.74 초과 우수, 0.60–0.74 양호, 0.40–0.59 보통	Polit, Beck & Owen (2007)
S-CVI/Ave	0.90 이상	Polit & Beck (2006), Waltz, Strickland & Lenz (2005) 인용
S-CVI/UA	0.80 이상, 엄격한 기준	Davis (1992), Polit & Beck (2006)의 해석

항목 수준의 두 규칙은 서로 다른 결론을 낼 수 있습니다. 전문가가 다섯 명이면 Lynn은 다섯 명 모두의 합의를 요구하지만, 네 명이 합의하면 k* = 0.76이 되고, Polit, Beck, Owen은 이를 우수로 평가합니다. 이들은 전문가가 세 명 이상일 때 I-CVI 0.78 이상을 좋은 내용 타당도의 근거로 결론지었습니다. 이 계산기는 두 가지를 모두 보고하므로, 어떤 규칙을 적용했는지 밝히세요. 전문가가 열 명을 넘으면 Lynn의 표가 끝나고, 도구는 0.78 하한을 적용합니다.

CVI는 관련성에 대한 합의만 측정합니다. 항목이 명확한지, 구성 개념 전체를 포괄하는지, 실제 응답자와 척도가 어떻게 작동하는지는 말해 주지 않습니다. 명확성과 포괄성도 전문가에게 물어보고, 내용 타당화 뒤에는 예비 자료와 신뢰도 분석을 하세요.

자주 묻는 질문

좋은 내용 타당도 지수는 무엇인가요?: 항목에 대해서 Lynn(1986)은 전문가 3~5명일 때 I-CVI 1.00을 요구했고, 더 큰 패널에는 6명 중 5명에서 10명 중 8명까지 최소 기준을 정했으며, 어떤 경우에도 0.78 미만은 안 된다고 했습니다. 척도 전체에 대해서는 Polit과 Beck(2006)이 S-CVI/Ave 0.90 이상을 권장하고, S-CVI/UA 0.80은 흔한 엄격한 목표입니다.
내용 타당도 지수에는 전문가가 몇 명 필요한가요?: Lynn은 최소 세 명을 권하고, 열 명을 넘는 것은 아마 불필요하다고 했습니다. 많은 연구가 5~10명을 씁니다. 전문가가 많을수록 한 명의 특이한 평가에 항목별 I-CVI가 덜 민감해지지만, 보편 합의와 그에 따른 S-CVI/UA는 달성하기 어려워집니다.
S-CVI/Ave와 S-CVI/UA의 차이는 무엇인가요?: S-CVI/Ave는 항목별 I-CVI를 평균하므로, 여섯 명 중 다섯 명이 관련 있다고 본 항목도 0.83을 기여합니다. S-CVI/UA는 모든 전문가가 3 또는 4로 평가한 항목만 세므로 패널이 커질수록 낮아집니다. Polit과 Beck(2006)은 S-CVI/Ave를 선호하며, 사용한 방법을 밝혀 보고하라고 권합니다.
I-CVI와 함께 수정 카파를 계산하는 이유는 무엇인가요?: 전문가가 적을 때는 우연히도 높은 일치가 나올 수 있습니다. 두 전문가가 찍기만 해도 둘 다 관련 있다고 답하는 경우가 4분의 1쯤 됩니다. 수정 카파는 관찰된 일치의 이항 확률을 빼므로, 그 규모의 패널에서 I-CVI가 인상적인지 보여 줍니다.
내용 타당도 지수(CVI)와 내용 타당도 비율(CVR)의 차이는 무엇인가요?: 내용 타당도 비율(Lawshe, 1975)은 각 항목이 필수적인지, 유용하지만 필수는 아닌지, 필요 없는지를 묻고 CVR = (nₑ − N/2) ÷ (N/2)로 계산합니다. 여기서 nₑ는 필수라고 고른 사람 수입니다. CVI는 대신 4점 척도로 관련성을 묻습니다. 두 방식은 관련된 질문에 답하지만 서로 바꿔 쓸 수 없으며, 이 계산기는 CVI를 계산합니다.
3점 또는 5점 관련성 척도를 쓸 수 있나요?: Lynn은 애매한 중간 선택지를 피하려고 4점 척도를 권했고, I-CVI는 관련 있음과 관련 없음만 구분합니다. 다른 척도를 썼다면 어떤 평가를 관련 있음으로 볼지 정하고, 그 평가는 4로, 나머지는 1로 다시 코드화한 다음 변환된 표를 붙여 넣으세요.