코언의 카파 계산기

코언의 카파 계산기 사용 방법

1. 1. 데이터 형식을 고르세요. 이미 빈도가 있다면 일치표를 고르세요. 평가자 A의 범주는 세로로, 평가자 B의 범주는 가로로 놓습니다. 피험자 한 명당 한 행이고 각 평가자의 라벨이 있다면 두 열의 평정을 고르세요.
2. 2. 데이터를 붙여넣으세요. 스프레드시트에서 그대로 복사하거나 탭, 쉼표 또는 공백으로 입력하세요. 첫 행의 범주 이름은 선택 사항입니다. 계산기는 만든 일치표를 행과 열의 합계와 함께 보여 주므로 직접 확인할 수 있습니다.
3. 3. 순서형 평정의 범주 순서를 정하세요. 가중 카파는 범주를 낮은 것에서 높은 것으로 순서가 있다고 봅니다. 숫자 코드는 자동으로 정렬됩니다. 불합격, 통과, 우수처럼 단어라면 상자에 순서를 입력하세요.
4. 4. 카파와 신뢰구간을 읽으세요. κ, 95% 신뢰구간, 관찰된 일치도와 우연에 의한 일치도, κ = 0에 대한 z 검정을 얻습니다. 범주가 세 개 이상이면 표에 선형 및 이차 가중 카파가 추가됩니다. 끝나면 APA 형식 문장을 복사하세요.

코언의 카파 공식

카파는 두 평가자가 실제로 이룬 일치를, 각자 자신의 관찰된 비율대로 범주를 독립적으로 고를 때 우연히 이룰 일치와 비교합니다:

• pₒ — 관찰된 일치도: 두 평가자가 같은 범주에 넣은 피험자의 비율입니다(표의 대각선 합을 n으로 나눈 값).
• pₑ — 우연에 의한 일치도: Σ (행 합계 × 열 합계) / n². 각 평가자가 자신의 범주 비율을 유지한 채 독립적으로 고를 때 기대되는 일치입니다.
• κ = 1은 완벽한 일치, κ = 0은 우연 수준을 넘지 않는 일치, 음수는 우연보다도 낮은 일치를 뜻합니다.

가중 카파는 순서가 있는 척도에서 근접한 불일치에 부분 점수를 줍니다. κw = (pₒ(w) − pₑ(w)) / (1 − pₑ(w)), 여기서 각 칸에는 일치 가중치를 곱합니다. 선형(Cicchetti–Allison) 가중치는 w = 1 − |i − j| / (k − 1), 이차(Fleiss–Cohen) 가중치는 w = 1 − (i − j)² / (k − 1)²입니다. 이차 가중치를 쓰면 카파는 급내상관계수와 밀접하게 관련됩니다.

95% 신뢰구간은 κ ± 1.96 × SE이며, Fleiss, Cohen, Everitt(1969)의 큰 표본 표준오차를 사용합니다. κ = 0에 대한 z 검정은 그 귀무가설 아래에서 계산한 두 번째 표준오차를 씁니다. 둘 다 점근적이므로 작은 표본에서는 근사치로 보세요. 이는 SAS PROC FREQ가 쓰는 공식이며, 계산기는 그 문서의 예시를 소수점 넷째 자리까지 재현합니다.

실제 예시: 두 교사가 에세이 50편을 채점하기

두 교사가 같은 에세이 50편을 낮음, 보통, 높음 중 하나로 평가했습니다. 일치표 모드에서 예시 불러오기를 누르면 그들의 빈도가 입력됩니다:

두 교사는 14 + 13 + 11 = 38편의 에세이에서 일치하므로, pₒ = 38 / 50 = 0.76입니다. 우연에 의한 일치도는 pₑ = (18 × 16 + 19 × 18 + 13 × 16) / 50² = 838 / 2,500 = 0.3352입니다. 따라서 κ = (0.76 − 0.3352) / (1 − 0.3352) = 0.639이고, SE = 0.091, 95% 신뢰구간 [0.461, 0.817], z = 6.41, p < .001입니다. 이 주변합에서 가능한 가장 큰 카파는 0.910이므로, 여기서 카파를 낮추는 것은 상한이 아니라 12건의 불일치입니다.

가중 카파가 더 높은 이유는 12건의 불일치 중 11건이 한 범주 차이에 불과하기 때문입니다. 낮음, 보통, 높음은 순서가 있으므로 이 예에서는 가중 카파가 공정한 요약입니다. 진단명처럼 순서가 없는 범주에는 가중하지 않은 값만 의미가 있습니다.

카파 해석과 보고

Landis와 Koch는 자신들의 구간을 임의적이라고 설명했고, 다른 저자들은 더 엄격한 구간을 씁니다. 따라서 라벨만이 아니라 수치와 신뢰구간을 보고하세요. 카파는 주변합에도 좌우됩니다. 한 범주가 매우 흔하면 우연에 의한 일치가 높아져서, 대부분의 사례에서 평가자들이 일치하더라도 카파는 낮을 수 있습니다. Feinstein과 Cicchetti(1990)가 설명한 “카파 역설”입니다. κ와 함께 pₒ, pₑ, 그리고 가능한 최대 카파를 보고하면 독자가 주변합의 영향을 이해하는 데 도움이 됩니다.

예시를 APA 형식으로 보고하면 다음과 같습니다: “두 교사 사이의 일치는 상당한 수준이었다, 코언의 κ = .64, 95% 신뢰구간 [.46, .82], z = 6.41, p < .001 (n = 50).” 카파는 1을 넘을 수 없으므로, APA 형식은 1을 넘을 수 없는 값의 앞자리 0을 생략합니다.

흔한 실수

• 백분율 일치를 신뢰도로 보고하기. 76%의 일치는 강해 보이지만, 두 교사가 각자의 비율대로 독립적으로 채점했다면 이 에세이들의 약 34%는 우연히 일치했을 것입니다. 카파는 그 몫을 제외합니다.
• 순서가 없는 범주에 가중치 적용하기. 가중 카파는 순서를 가정합니다. 순서가 없는 범주에는 가중하지 않은 값을 쓰세요.
• 표의 방향을 뒤집기. 행은 한 평가자, 열은 다른 평가자여야 하며, 두 축 모두 범주 순서가 같아야 일치가 대각선에 놓입니다.
• κ = 0 검정에서 멈추기. 유의한 z는 일치가 우연보다 낫다는 뜻일 뿐입니다. 큰 표본에서는 약한 카파도 매우 유의할 수 있습니다.

자주 묻는 질문

좋은 코언의 카파 값은 무엇인가요?

Landis와 Koch(1977)의 기준에서 0.41–0.60은 중등도, 0.61–0.80은 상당함, 0.80을 넘으면 거의 완벽입니다. 무엇이 받아들일 만한지는 걸린 것이 무엇인지에 따라 다릅니다. 진단처럼 개인에 대한 결정으로 이어지는 평정은 탐색적 코딩보다 훨씬 높은 일치가 필요합니다. 기준은 관례이므로, 카파를 신뢰구간과 함께 보고하고 같은 분야의 유사 연구가 보고한 값과 비교하세요.

코언의 카파와 백분율 일치는 어떻게 다른가요?

백분율 일치는 단순히 pₒ, 즉 평가자들이 같은 방식으로 분류한 사례의 비율입니다. 카파는 우연으로 기대되는 일치를 뺀 뒤 결과를 재조정하므로, 0은 우연 수준의 일치, 1은 완벽한 일치를 뜻합니다. 두 평가자가 모두 사례의 90%를 “정상”으로 표시하면 우연만으로도 자주 일치하는데, 백분율 일치는 이것을 보상하지만 카파는 보상하지 않습니다.

가중 카파는 언제 쓰고, 어떤 가중치를 써야 하나요?

범주에 순서가 있어서, 낮음을 보통으로 잘못 분류하는 것이 낮음을 높음으로 잘못 분류하는 것보다 작은 오류인 경우에 가중 카파를 쓰세요. 선형 가중치는 범주 사이의 거리에 비례해 불일치에 벌점을 주고, 이차 가중치는 멀리 떨어진 불일치에 더 무거운 벌점을 주어 급내상관계수에 가까운 값을 냅니다. 가중치가 결과를 바꾸므로 어떤 가중치를 썼는지 밝히세요.

평가자들이 대체로 일치하는데도 카파가 낮은 이유는 무엇인가요?

한 범주가 우세하면 우연에 의한 일치가 높기 때문입니다. 두 평가자가 모두 사례의 95%를 음성으로 판단하면, 무작위로 평정하더라도 대부분 일치하게 되므로 pₑ가 크고 그 위의 여지는 작습니다. 이것이 카파 역설입니다. κ와 함께 pₒ, pₑ, 그리고 계산기의 최대 달성 가능 카파를 보고하면 독자가 주변합의 효과를 볼 수 있습니다.

세 명 이상의 평가자에게 코언의 카파를 쓸 수 있나요?

아니요. 코언의 카파는 정확히 두 평가자를 비교합니다. 각 피험자를 같은 수의 평가자가 평정했다면 Fleiss' 카파를 쓰세요. 고정된 평가자 패널을 가진 일부 연구는 모든 평가자 쌍의 코언의 카파를 평균하기도 합니다(Light의 카파).