플라이스의 카파 계산기

플라이스의 카파 계산기 사용 방법

1. 1. 데이터 형식을 고르세요. 범주별 빈도는 대상당 한 행, 범주당 한 열을 받으며, 각 칸은 그 범주를 고른 평가자의 수를 나타냅니다. 평정 하나씩은 원시 데이터(대상당 한 행, 평가자당 한 열)를 받아 계산기가 빈도를 세어 줍니다.
2. 2. 데이터를 붙여넣으세요. 스프레드시트에서 그대로 복사하세요. 첫 열의 대상 이름과 첫 행의 범주 이름은 선택 사항입니다. 빈도표에서는 모든 행의 합이 같은 평가자 수여야 하며, 그렇지 않은 행은 강조 표시됩니다.
3. 3. 표를 확인하세요. 계산기는 결과를 주기 전에 사용할 빈도를 보여 주며, 각 대상의 합계는 n 열에 표시됩니다.
4. 4. 결과를 읽으세요. 플라이스의 κ, 평균 관측 일치도 P̄, 우연에 의한 일치도 P̄ₑ, κ = 0에 대한 z 검정, 범주별 κ를 얻습니다. 보고서에 쓸 APA 형식 문장을 복사하세요.

플라이스의 카파 공식

플라이스(1971)는 카파를 임의의 수의 평가자로 확장했습니다. N개의 대상을 각각 n명의 평가자가 k개 범주로 평정했다고 하고, nᵢⱼ는 대상 i를 범주 j에 넣은 평가자의 수라고 합시다. 한 대상 안에서의 일치도는 일치하는 평가자 쌍의 비율입니다:

• P̄ — 대상 전체의 평균 일치도입니다.
• pⱼ — 전체 N × n개 평정 중 범주 j에 떨어진 비율입니다.
• P̄ₑ — 평가자들이 전체 비율대로 무작위로 범주를 고른다고 할 때 기대되는 일치도입니다.
• κ — 우연을 넘어선 일치도로, 1은 완벽한 일치, 0은 우연 수준을 뜻합니다.

계산기는 각 범주에 대한 κⱼ도 제공합니다. 이는 그 범주를 나머지 범주 전체와 비교합니다. 또한 Fleiss, Nee, Landis(1979)의 표준오차를 이용한 κ = 0에 대한 z 검정도 제공합니다. 이 표준오차는 귀무가설 κ = 0 아래에서 유도된 것이므로 검정에는 맞지만 신뢰구간에는 맞지 않습니다. 구간이 필요하다면 대상을 부트스트랩하세요.

실제 예시: 평가자 4명, 게시물 10개

평가자 4명이 소셜 미디어 게시물 10개를 긍정, 중립, 부정으로 분류했습니다. 빈도를 입력하려면 예시 불러오기를 누르세요:

게시물 2에 대해 Pᵢ = (3² + 1² + 0² − 4) / (4 × 3) = 6 / 12 = 0.500입니다. 10개 값의 평균은 P̄ = 0.700입니다. 40개의 평정은 긍정 14, 중립 16, 부정 10으로 나뉘므로 pⱼ = 0.35, 0.40, 0.25이고, P̄ₑ = 0.35² + 0.40² + 0.25² = 0.345입니다. 따라서 κ = (0.700 − 0.345) / (1 − 0.345) = 0.542로, Landis와 Koch의 기준에 따르면 중등도 일치입니다. SE₀ = 0.0922이므로 z = 5.88이고 p < .001입니다.

범주별 카파는 평가자들이 어디에서 어긋나는지 보여 줍니다. 긍정 κ = 0.634, 부정 κ = 0.556, 중립 κ = 0.444입니다. 중립은 평가자들이 일관되게 적용하기 가장 어려운 범주이므로, 전체 표본을 코딩하기 전에 코드북에서 그 정의를 다듬으라는 신호입니다.

플라이스의 카파 해석과 보고

플라이스의 카파는 보통 Landis와 Koch(1977)의 기준으로 읽습니다. 0.21–0.40은 보통, 0.41–0.60은 중등도, 0.61–0.80은 상당함, 0.80을 넘으면 거의 완벽입니다. 코언의 카파와 마찬가지로 이 구간은 관례이며, 일치도가 높아도 한 범주가 평정을 지배하면 카파는 낮아집니다. κ는 대상, 평가자, 범주의 수와 함께 보고하고, 범주별 카파가 다르다면 그것도 보고하세요.

APA 형식으로 쓰면 다음과 같습니다: “네 평가자 사이의 일치는 중등도였다, 플라이스의 κ = .54, z = 5.88, p < .001(대상 10개, 대상마다 평가자 4명).” 카파는 1을 넘을 수 없으므로 앞의 0은 생략합니다.

가정과 흔한 실수

• 평정 수가 같지 않음. 모든 대상은 같은 수의 평가자가 평정해야 합니다. 평정이 빠진 대상은 제외하거나, 빠진 평정을 허용하는 Krippendorff의 알파를 쓰세요.
• 순서형 범주. 플라이스의 카파는 범주에 순서가 없다고 보므로, 조금 빗나간 평정과 크게 빗나간 평정이 똑같이 계산됩니다. 순서가 있는 평정에는 급내상관을 고려하세요.
• 합이 맞지 않는 행. 빈도 형식에서 한 행은 어떤 평가자가 골랐는지가 아니라 범주별로 몇 명이 골랐는지이므로, 각 행의 합은 n이어야 합니다.
• z 검정을 강도의 척도로 읽기. 아주 작은 p-값은 일치가 우연보다 낫다는 뜻일 뿐입니다. 평가자들이 얼마나 잘 일치하는지는 κ의 크기가 말해 줍니다.
• 평가자가 둘일 때 코언의 카파를 기대하기. 평가자가 둘이면 플라이스의 카파는 스콧의 π와 같으며, 코언의 카파와 약간 다를 수 있습니다.

자주 묻는 질문

플라이스의 카파와 코언의 카파는 무엇이 다른가요?

코언의 카파는 정확히 두 평가자 사이의 일치를 측정하고, 각 평가자 자신의 범주 비율로 우연 일치를 추정합니다. 플라이스의 카파는 임의의 수의 평가자를 다루며, 모든 평정을 합쳐 우연 일치를 추정합니다. 평가자가 두 명일 때 플라이스의 카파는 코언의 카파가 아니라 스콧의 π로 환원되므로, 두 값은 약간 다를 수 있습니다.

모든 대상을 같은 평가자가 평정해야 하나요?

아니요. 플라이스의 카파는 모든 대상이 같은 수의 평정을 받기만 하면 되며, 평정하는 사람은 대상마다 달라도 됩니다. 예를 들어 문서마다 스무 명의 검토자 중 세 명이 코딩하는 설계에 맞습니다. 고정된 한 패널이 전체를 평정하는 경우에도 플라이스의 카파는 작동하지만, 일부 연구자는 모든 평가자 쌍에 대한 코언의 카파를 평균하는 방법을 선호합니다.

좋은 플라이스의 카파 값은 얼마인가요?

Landis와 Koch(1977)의 기준으로, 0.41–0.60은 중등도, 0.61–0.80은 상당함, 0.81–1.00은 거의 완벽한 일치입니다. 이 이름표는 검정이 아니라 관례이며, 무엇이 받아들일 만한지는 평정을 어떻게 쓸지에 달려 있습니다. 이름표만이 아니라 대상, 평가자, 범주 등 맥락과 함께 값을 보고하세요.

계산기가 플라이스의 카파에 신뢰구간을 주지 않는 이유는 무엇인가요?

플라이스, 니, 랜디스(1979)가 유도한 표준오차는 κ = 0을 가정하므로, 일치가 우연보다 나은지 검정하기에는 맞지만 0이 아닌 카파 둘레에 구간을 만들기에는 너무 작거나 너무 큽니다. 대상을 기준으로 한 부트스트랩을 쓰세요. 행을 복원추출해 κ를 다시 계산하고, 2.5번째와 97.5번째 백분위수를 취하면 근거 있는 구간을 얻습니다.

순서형 평정에 플라이스의 카파를 쓸 수 있나요?

쓸 수는 있지만 순서를 무시합니다. 대상을 2 대신 1로 평정하는 것과 5 대신 1로 평정하는 것이 같은 불일치로 계산됩니다. 순서가 있는 척도에는 급내상관이나 순서형 척도를 쓴 Krippendorff의 알파가 그 정보를 활용합니다.

일부 대상의 평정이 빠졌다면 어떻게 해야 하나요?

플라이스의 카파는 대상마다 평정 수가 같아야 합니다. 원시 평정 형식에서 계산기는 가장 흔한 평정 수를 가진 대상만 남기고, 제외한 대상의 수를 알려 줍니다. 대상 대부분이 불완전하다면, 빠진 평정을 다루도록 설계된 Krippendorff의 알파를 쓰세요.