houver padrão-ouro disponível, os investigadores devem se apoiar em
outros métodos para avaliar a validade, descritos no Capítulo 4.Delineamentos
O delineamento básico para avaliar a reprodutibilidade de um teste
baseia-se na comparação dos resultados obtidos por mais de um
observador ou em mais de uma ocasião. Para testes diagnósticos
realizados em várias etapas, nos quais diferenças em uma única etapa
podem afetar a reprodutibilidade, é importante decidir a abrangência do
que o estudo irá abordar. Por exemplo, a demonstração de que vários
patologistas que trabalham em um mesmo hospital concordam na
interpretação de lâminas de citologia cervical pode superestimar a
reprodutibilidade global do teste, visto que não foram levadas em
consideração a variabilidade no modo de obtenção da amostra e a
variabilidade no preparo da lâmina.
Até que ponto é importante isolar cada uma das etapas que podem levar
à falta de concordância interobservador depende das metas do estudo. Em
geral, os estudos deveriam estimar a reprodutibilidade de todos os
procedimentos envolvidos na realização do teste, pois é isso que
determina se vale a pena ou não realizá-lo. No entanto, se o investigador
estiver desenvolvendo ou aprimorando um teste, ele pode preferir focar
em etapas específicas que são mais problemáticas, com o objetivo de
aprimorar o processo. Em qualquer uma dessas situações, é importante
explicitar no manual de operações o processo exato de obtenção do
resultado do teste (Capítulos 4 e 17) e, ao relatar os resultados, descrever
esse processo na seção de métodos.Análise
- Variáveis categóricas. A medida mais simples de concordância
interobservador é o percentual de observações nas quais a concordância
é total. No entanto, quando as observações não estiverem distribuídas
uniformemente entre as categorias (p. ex., quando a proporção de
“anormais” definidos por um teste dicotômico for muito diferente de
50%), pode ser difícil interpretar o percentual de concordância, uma vez
que ela não leva em consideração a concordância que resultaria do fato