Calculadora de kappa de Cohen

Como usar a calculadora de kappa de Cohen

1. 1. Escolha o formato dos dados. Use Tabela de concordância se você já tem as contagens — as categorias do avaliador A na vertical, as do avaliador B na horizontal. Use Duas colunas de avaliações se você tem uma linha por sujeito, com o rótulo de cada avaliador.
2. 2. Cole os dados. Copie direto de uma planilha ou digite com tabulações, vírgulas ou espaços. Os nomes das categorias em uma linha de cabeçalho são opcionais. A calculadora mostra a tabela de concordância que montou, com os totais de linha e de coluna, para você conferir.
3. 3. Defina a ordem das categorias para avaliações ordinais. O kappa ponderado trata as categorias como ordenadas, do menor para o maior. Códigos numéricos se ordenam automaticamente; para palavras como Reprovado, Aprovado e Distinção, digite a ordem na caixa.
4. 4. Leia o kappa e o intervalo. Você recebe κ, seu intervalo de confiança de 95%, a concordância observada e a concordância ao acaso, e um teste z de κ = 0. Com três ou mais categorias, uma tabela acrescenta o kappa ponderado linear e quadrático. Copie a linha no estilo APA quando terminar.

A fórmula do kappa de Cohen

O kappa compara a concordância que os avaliadores de fato alcançaram com a concordância que dois avaliadores alcançariam ao acaso, se atribuíssem categorias de forma independente, cada um segundo as suas próprias proporções observadas:

• pₒ — concordância observada: a parcela de sujeitos que os dois avaliadores colocaram na mesma categoria (a diagonal da tabela dividida por n).
• pₑ — concordância ao acaso: Σ (total da linha × total da coluna) / n², a concordância esperada se cada avaliador mantivesse suas próprias proporções de categoria, mas escolhesse de forma independente.
• κ = 1 significa concordância perfeita, κ = 0 significa concordância não melhor que o acaso, e valores negativos significam menos concordância que o acaso.

O kappa ponderado dá crédito parcial a quase-acertos em uma escala ordenada: κw = (pₒ(w) − pₑ(w)) / (1 − pₑ(w)), em que cada célula é multiplicada por um peso de concordância. Os pesos lineares (Cicchetti–Allison) são w = 1 − |i − j| / (k − 1); os pesos quadráticos (Fleiss–Cohen) são w = 1 − (i − j)² / (k − 1)². Com pesos quadráticos, o kappa fica muito próximo da correlação intraclasse.

O intervalo de confiança de 95% é κ ± 1,96 × EP, usando o erro padrão de amostra grande de Fleiss, Cohen e Everitt (1969); o teste z de κ = 0 usa um segundo erro padrão, calculado sob essa hipótese nula. Ambos são assintóticos, então trate-os como aproximados em amostras pequenas. São as fórmulas que o SAS PROC FREQ usa, e a calculadora reproduz os exemplos documentados dele com quatro casas decimais.

Exemplo prático: dois professores avaliando 50 redações

Dois professores avaliaram as mesmas 50 redações como Baixo, Médio ou Alto. Pressione Carregar exemplo no modo de tabela para inserir as contagens deles:

Os professores concordam em 14 + 13 + 11 = 38 redações, então pₒ = 38 / 50 = 0,76. A concordância ao acaso é pₑ = (18 × 16 + 19 × 18 + 13 × 16) / 50² = 838 / 2.500 = 0,3352. Então κ = (0,76 − 0,3352) / (1 − 0,3352) = 0,639, com EP = 0,091, IC de 95% [0,461; 0,817] e z = 6,41, p < 0,001. Com esses totais marginais, o maior kappa possível é 0,910, então o teto não é o que limita o kappa aqui — são os 12 desacordos.

Os kappas ponderados são maiores porque 11 dos 12 desacordos são de apenas uma categoria de diferença. Como Baixo, Médio e Alto são ordenados, um kappa ponderado é um resumo justo aqui; para categorias sem ordem, como diagnósticos, só o valor não ponderado faz sentido.

Como interpretar e relatar o kappa

Landis e Koch descreveram suas divisões como arbitrárias, e outros autores usam critérios mais rigorosos, então informe o número e o seu intervalo, e não apenas o rótulo. O kappa também depende das marginais. Quando uma categoria é muito comum, a concordância ao acaso é alta e o kappa pode ser baixo mesmo quando os avaliadores concordam na maioria dos sujeitos — o “paradoxo do kappa” descrito por Feinstein e Cicchetti (1990). Relatar pₒ, pₑ e o kappa máximo atingível junto com κ ajuda o leitor a entender por que.

Um relato no estilo APA do exemplo: “A concordância entre os dois professores foi substancial, κ de Cohen = .64, IC de 95% [.46, .82], z = 6.41, p < .001 (n = 50).” Como o kappa não pode passar de 1, o estilo APA omite o zero antes do ponto decimal.

Erros comuns

• Relatar a concordância percentual como confiabilidade. 76% de concordância soa forte, mas dois professores avaliando de forma independente, cada um com as suas proporções, concordariam em cerca de 34% dessas redações por acaso; o kappa remove essa parcela.
• Ponderar categorias nominais. O kappa ponderado pressupõe uma ordem. Para categorias sem ordem, use o valor não ponderado.
• Confundir a tabela. As linhas devem ser de um avaliador e as colunas do outro, com as categorias na mesma ordem nos dois lados, para que as concordâncias caiam na diagonal.
• Testar κ = 0 e parar aí. Um z significativo só diz que a concordância supera o acaso — um kappa fraco pode ser altamente significativo em uma amostra grande.

Perguntas frequentes

Qual é um bom valor de kappa de Cohen?

Pelos parâmetros de Landis e Koch (1977), 0,41–0,60 é moderado, 0,61–0,80 é substancial e acima de 0,80 é quase perfeito. O que é aceitável depende do que está em jogo: avaliações que alimentam decisões sobre indivíduos, como diagnósticos, exigem concordância bem maior do que uma codificação exploratória. Como os parâmetros são convenções, informe o kappa com o intervalo de confiança e compare-o com o que estudos semelhantes da sua área relatam.

Qual é a diferença entre o kappa de Cohen e a concordância percentual?

A concordância percentual é simplesmente pₒ, a parcela de sujeitos que os avaliadores classificaram da mesma forma. O kappa subtrai a concordância esperada ao acaso e reescala o resultado, então 0 significa concordância no nível do acaso e 1 significa concordância perfeita. Dois avaliadores que classificam 90% dos casos como “normal” vão concordar com frequência só por acaso, o que a concordância percentual recompensa e o kappa não.

Quando devo usar o kappa ponderado, e quais pesos?

Use o kappa ponderado quando as categorias são ordenadas, de modo que confundir Baixo com Médio seja um erro menor do que confundir Baixo com Alto. Pesos lineares penalizam o desacordo na proporção da distância entre as categorias; pesos quadráticos penalizam mais fortemente os desacordos distantes e geram valores próximos de uma correlação intraclasse. Diga quais pesos você usou, porque eles mudam o resultado.

Por que o kappa é baixo quando os avaliadores concordam na maior parte do tempo?

Porque a concordância ao acaso é alta quando uma categoria domina. Se os dois avaliadores classificam 95% dos casos como negativos, eles vão concordar na maioria dos casos mesmo classificando ao acaso, então pₑ é grande e o espaço acima dele é pequeno. Esse é o paradoxo do kappa; informe pₒ e pₑ junto com κ, e o kappa máximo atingível da calculadora, para que os leitores vejam o efeito das marginais.

Posso usar o kappa de Cohen com mais de dois avaliadores?

Não — o kappa de Cohen compara exatamente dois avaliadores. Quando cada sujeito é avaliado pelo mesmo número de avaliadores, use o kappa de Fleiss. Alguns estudos com um painel fixo de avaliadores calculam, em vez disso, a média dos kappas de Cohen de cada par de avaliadores (kappa de Light).