κ=Concordância observada (%) – concordância esperada (%)
100% – Concordância esperada (%)A proporção “esperada” para cada célula é simplesmente a proporção
observada naquela linha (i. e., o total da linha dividido pelo tamanho da
amostra) multiplicada pela proporção observada naquela coluna (i. e., o
total da coluna dividido pelo tamanho da amostra). A concordância
esperada é obtida somando-se as proporções esperadas nas células na
diagonal correspondente à concordância dos observadores.
Por exemplo, na Tabela 12A.1, os observadores apresentaram alta
concordância: eles concordaram 85% das vezes. Mas qual foi a
concordância observada além daquela esperada pelos valores totais
marginais? Apenas pelo acaso (dados os valores marginais observados),
eles teriam concordado em 71% das vezes: (20% × 15%) + (80% × 85%)
= 71%. Como a concordância observada era de 85%, o kapa é (85% –
71%)/(100% – 71%) = 0,48, uma concordância apreciável, mesmo que
expressa de forma menos impressionante do que 85%.
Quando há mais de duas categorias de resultados de testes, é importante
distinguir entre variáveis ordinais, que são intrinsecamente ordenadas, e
variáveis nominais, que não são. Para variáveis ordinais, o kapa, como
calculado acima, não capta toda a informação dos dados, porque não dá
crédito parcial para resultados mais próximos, mesmo que discordantes.
Para dar crédito para concordâncias parciais, deve-se usar um kapa
ponderado. (Ver Newman e Kohn [31] para uma discussão mais
detalhada.)