Calculadora de kappa de Fleiss
Meça a concordância entre três ou mais avaliadores que classificam sujeitos em categorias. Cole uma tabela sujeitos × categorias de contagens — ou avaliações brutas, uma linha por sujeito — e obtenha o kappa de Fleiss, a concordância observada e a concordância ao acaso, um teste z e um kappa para cada categoria, com o cálculo exibido. Gratuito, sem cadastro, e roda inteiramente no seu navegador.
Cada célula é quantos avaliadores colocaram aquele sujeito naquela categoria, então cada linha soma o número de avaliadores. Os nomes dos sujeitos na primeira coluna e os nomes das categorias em uma linha de cabeçalho são opcionais.
Cole uma tabela de contagens, ou uma linha de avaliações por sujeito, para ver o kappa de Fleiss.
Como usar a calculadora de kappa de Fleiss
- 1. Escolha um formato de dados. Contagens por categoria recebe uma linha por sujeito e uma coluna por categoria, em que cada célula diz quantos avaliadores escolheram essa categoria. Uma avaliação por célula recebe os dados brutos — uma linha por sujeito, uma coluna por avaliador — e faz a contagem para você.
- 2. Cole os dados. Copie direto de uma planilha. Os nomes dos sujeitos na primeira coluna e os nomes das categorias em uma linha de cabeçalho são opcionais. Na tabela de contagens, cada linha deve somar o mesmo número de avaliadores; as que não somarem são destacadas.
- 3. Confira a tabela. A calculadora mostra as contagens que vai usar, com o total de cada sujeito na coluna n, antes de dar qualquer resultado.
- 4. Leia os resultados. Você recebe o κ de Fleiss, a concordância observada média P̄, a concordância ao acaso P̄ₑ, um teste z de κ = 0 e um κ para cada categoria. Copie a linha no estilo APA para o seu texto.
A fórmula do kappa de Fleiss
Fleiss (1971) estendeu o kappa a qualquer número de avaliadores. Suponha N sujeitos, cada um avaliado por n avaliadores em k categorias, e nᵢⱼ avaliadores que colocam o sujeito i na categoria j. A concordância dentro de um sujeito é a parcela de pares de avaliadores que concordam:
Fórmulas
Pᵢ = (Σⱼ nᵢⱼ² − n) / (n(n − 1))
P̄ = (1/N) Σᵢ Pᵢ P̄ₑ = Σⱼ pⱼ² κ = (P̄ − P̄ₑ) / (1 − P̄ₑ)
- P̄ — a concordância média entre os sujeitos.
- pⱼ — a parcela de todas as N × n avaliações que caiu na categoria j.
- P̄ₑ — a concordância esperada se os avaliadores escolhessem categorias ao acaso, nessas proporções gerais.
- κ — concordância além do acaso, em uma escala na qual 1 é a concordância perfeita e 0 é o nível do acaso.
A calculadora também fornece κⱼ para cada categoria, que trata aquela categoria contra todas as demais juntas, e um teste z de κ = 0 usando o erro padrão de Fleiss, Nee e Landis (1979). Esse erro padrão é derivado sob a hipótese nula, por isso é válido para o teste, mas não para um intervalo de confiança. Para um intervalo, faça bootstrap dos sujeitos.
Exemplo prático: quatro codificadores, dez publicações
Quatro codificadores classificaram dez publicações de redes sociais como Positivo, Neutro ou Negativo. Pressione Carregar exemplo para inserir as contagens:
| Publicação | Positivo | Neutro | Negativo | Pᵢ |
|---|---|---|---|---|
| 1 | 4 | 0 | 0 | 1,000 |
| 2 | 3 | 1 | 0 | 0,500 |
| 3 | 0 | 4 | 0 | 1,000 |
| 4 | 0 | 3 | 1 | 0,500 |
| 5 | 1 | 1 | 2 | 0,167 |
| 6 | 0 | 0 | 4 | 1,000 |
| 7 | 2 | 2 | 0 | 0,333 |
| 8 | 0 | 1 | 3 | 0,500 |
| 9 | 4 | 0 | 0 | 1,000 |
| 10 | 0 | 4 | 0 | 1,000 |
Para a publicação 2, Pᵢ = (3² + 1² + 0² − 4) / (4 × 3) = 6 / 12 = 0,500. Os dez valores têm média P̄ = 0,700. As 40 avaliações se dividem em 14 Positivo, 16 Neutro e 10 Negativo, então pⱼ = 0,35, 0,40 e 0,25, e P̄ₑ = 0,35² + 0,40² + 0,25² = 0,345. Então κ = (0,700 − 0,345) / (1 − 0,345) = 0,542, concordância moderada pelos parâmetros de Landis e Koch. Com EP₀ = 0,0922, z = 5,88 e p < 0,001.
Os kappas por categoria mostram onde os codificadores discordam: Positivo κ = 0,634, Negativo κ = 0,556 e Neutro κ = 0,444. Neutro é a categoria que os codificadores acham mais difícil de aplicar de forma consistente — um sinal para refinar a definição dela no livro de códigos antes de codificar a amostra completa.
Interpretando e relatando o kappa de Fleiss
O kappa de Fleiss costuma ser lido pelos parâmetros de Landis e Koch (1977): 0,21–0,40 razoável, 0,41–0,60 moderada, 0,61–0,80 substancial e acima de 0,80 quase perfeita. Como no kappa de Cohen, os pontos de corte são convenções, e o kappa cai quando uma categoria domina as avaliações, mesmo que a concordância seja alta. Relate κ com o número de sujeitos, de avaliadores e de categorias, e os kappas por categoria quando eles diferirem.
No estilo APA: “A concordância entre os quatro codificadores foi moderada, κ de Fleiss = ,54, z = 5,88, p < ,001 (10 sujeitos, 4 avaliadores cada).” Como o kappa não pode passar de 1, o zero à esquerda é omitido, como manda o estilo APA.
Pressupostos e erros comuns
- Números desiguais de avaliações. Cada sujeito precisa do mesmo número de avaliadores. Sujeitos com avaliações faltando devem ser excluídos, ou use o alfa de Krippendorff, que os aceita.
- Categorias ordinais. O kappa de Fleiss trata as categorias como não ordenadas, então um quase acerto conta o mesmo que um erro grosseiro. Para avaliações ordenadas, considere uma correlação intraclasse.
- Linhas que não somam. No formato de contagens, uma linha indica quantos avaliadores escolheram cada categoria, e não quais deles; por isso cada linha deve somar n.
- Ler o teste z como medida de força. Um valor-p muito pequeno só diz que a concordância supera o acaso; o tamanho de κ diz quão bem os avaliadores concordam.
- Esperar o kappa de Cohen com dois avaliadores. Com dois avaliadores, o kappa de Fleiss é igual ao pi de Scott, que pode diferir um pouco do kappa de Cohen.
Perguntas frequentes
- Qual é a diferença entre o kappa de Fleiss e o kappa de Cohen?
- O kappa de Cohen mede a concordância entre exatamente dois avaliadores e usa a proporção de categorias de cada avaliador para estimar a concordância ao acaso. O kappa de Fleiss funciona com qualquer número de avaliadores e reúne todas as avaliações para estimar o acaso. Com dois avaliadores, o kappa de Fleiss se reduz ao pi de Scott, e não ao kappa de Cohen, então os dois podem diferir um pouco.
- Os mesmos avaliadores precisam avaliar todos os sujeitos?
- Não. O kappa de Fleiss só exige que cada sujeito receba o mesmo número de avaliações; pessoas diferentes podem fornecê-las. Isso serve a desenhos em que, por exemplo, três de vinte revisores quaisquer codificam cada documento. Se um painel fixo avaliar tudo, o kappa de Fleiss ainda funciona, embora alguns pesquisadores prefiram calcular a média do kappa de Cohen sobre todos os pares de avaliadores.
- Qual é um bom valor de kappa de Fleiss?
- Pelos parâmetros de Landis e Koch (1977), 0,41–0,60 é concordância moderada, 0,61–0,80 substancial e 0,81–1,00 quase perfeita. Esses rótulos são convenções, não testes, e o que é aceitável depende de como as avaliações serão usadas. Informe o valor com seu contexto — sujeitos, avaliadores, categorias — e não apenas o rótulo.
- Por que a calculadora não dá um intervalo de confiança para o kappa de Fleiss?
- O erro padrão derivado por Fleiss, Nee e Landis (1979) supõe κ = 0; por isso ele é correto para testar se a concordância supera o acaso, mas pequeno ou grande demais para construir um intervalo em torno de um kappa diferente de zero. Um bootstrap sobre os sujeitos — reamostre as linhas, recalcule κ e tome os percentis de 2,5 e 97,5 — dá um intervalo defensável.
- Posso usar o kappa de Fleiss para avaliações ordinais?
- Pode, mas ele ignora a ordem: dar a um sujeito a nota 1 em vez de 2 conta como o mesmo desacordo que dar 1 em vez de 5. Para escalas ordenadas, uma correlação intraclasse ou o alfa de Krippendorff com uma métrica ordinal usa essa informação.
- O que devo fazer se alguns sujeitos tiverem avaliações faltando?
- O kappa de Fleiss exige o mesmo número de avaliações por sujeito. No formato de avaliações brutas, a calculadora mantém os sujeitos com o número mais comum de avaliações e informa quantos deixou de fora. Se muitos sujeitos estiverem incompletos, o alfa de Krippendorff foi desenhado para avaliações faltantes.