A IA erra. O que um software clínico honesto faz a respeito

Todo material de venda de IA para saúde mostra a nota perfeita saindo pronta. Nenhum mostra o dia em que o modelo escreveu um medicamento que o paciente não usa. Nós preferimos começar por aí.

Modelos de linguagem erram de formas conhecidas: inventam detalhes que soam plausíveis, omitem informações que estavam na conversa e trocam valores parecidos. Em um texto de marketing isso é constrangedor; em um prontuário é perigoso. Qualquer fornecedor que diga que seu modelo “não alucina” está vendendo algo que a tecnologia atual não entrega.

A pergunta certa não é “a IA erra?”. É: o que o software faz sabendo que ela erra?

Regra número um: a nota é um rascunho seu

No Recinto, a nota gerada nunca é o registro final: ela nasce editável, e o fluxo assume que você vai ler antes de assinar. Isso não é limitação, é desenho. O responsável pelo prontuário é o profissional; a IA faz o trabalho braçal de organizar.

Regra número dois: a nota é conferida contra a fala

Depois de gerar a nota, o app roda duas camadas.

A primeira é uma bateria de verificações que compara o que foi dito na consulta com o que foi escrito na nota. São checagens determinísticas, que produzem o mesmo resultado sempre, e é ela que alimenta o painel “Pontos para revisar”. O que elas procuram:

• Medicação que sumiu. Um remédio citado na conversa que não aparece na nota é apontado.
• Alergia omitida. Alergia mencionada na fala e ausente da nota é apontada (alérgeno de nome composto é avaliado pelo primeiro termo).
• Termo que ninguém disse. Um diagnóstico que aparece na nota sem apoio na conversa pode ser sinalizado como possível invenção. A cobertura aqui é parcial: a regra pergunta à tabela CID-10 se aquela palavra, sozinha, nomeia um diagnóstico, e depois pergunta ao dicionário de português se ela é palavra do dia a dia. Uma nota deve traduzir (“pressão alta” vira “hipertensão”, e isso não é invenção), e o preço dessa escolha é que um diagnóstico inventado que também é palavra comum (“enxaqueca”, “cólera”) escapa. A checagem também é mais forte para médico e psicólogo, que têm uma segunda barreira do lado dos códigos CID-10; para fisioterapeuta e fonoaudiólogo ela é a única.
• Achado que a conduta ignora. Três itens específicos: risco suicida ou de autolesão, pressão arterial claramente alterada e glicemia claramente alterada. Se a nota registra um deles e o plano não fala dele, o app pergunta. Nota sem seção de plano identificável não gera aviso.
• Números críticos. Pressão arterial ditada (“catorze por nove”, “PA 14 por 9”) é convertida para o formato numérico padrão. Não existe uma checagem que denuncie valor implausível por si: uma pressão absurda vinda de erro de transcrição é formatada, não sinalizada. Esta é também a única função que reescreve texto clínico, e por isso só age quando “pressão” ou “PA” vem imediatamente antes do valor.

A segunda camada é uma releitura feita pelo próprio modelo local, que compara nota e transcrição e sinaliza omissões e possíveis invenções. Ela é, sim, uma segunda IA opinando sobre a primeira, com as mesmas falibilidades. Vem ligada por padrão, aparece separada (o botão “Verificar com IA”) e pode ser desligada em Ajustes. Justamente por ser IA, ela nunca dá a nota por conferida.

O resultado da primeira camada aparece em um painel chamado “Pontos para revisar”: uma lista curta e direta do que merece seu olhar antes de finalizar. Painel vazio quer dizer que essas checagens não acharam nada, não que a nota foi auditada por completo. Elas são uma rede de segurança sobre os erros mais comuns, e a leitura final continua sendo sua.

Regra número três: sugerir, nunca corrigir sozinho

Aprendemos essa da forma difícil. Uma versão de teste corrigia sozinha nomes de medicamentos que a transcrição entendia errado, comparando com o catálogo de 10 mil nomes da Anvisa. Parecia ótimo, até percebermos que palavras comuns da conversa podiam ser “corrigidas” para nomes de remédio parecidos. Uma correção automática errada é pior que o erro original, porque vem com cara de certa.

Desde então a regra é absoluta: o app sugere, o profissional decide. A transcrição nunca é reescrita por conta própria; toda sugestão aparece como sugestão, com o trecho original ao lado.

Por que contar isso?

Porque a confiança em ferramenta clínica não nasce de demo bonita, nasce de saber como a ferramenta se comporta no pior caso. O mesmo vale para a privacidade: preferimos uma arquitetura em que o áudio não sai do seu computador a pedir que você confie na nossa palavra.

O site tem uma seção inteira chamada “Limites da IA” com o que o app não faz. Achamos que todo software de saúde deveria ter uma.

Veja os guardas funcionando: grave uma consulta de teste no Recinto e repare no painel “Pontos para revisar”. 30 dias grátis, sem cadastro: baixe aqui.