Quando a IA não sabe: a importância de reconhecer limites e evitar alucinações

O problema das alucinações

Pergunte algo a um assistente de inteligência artificial (IA) e ele quase sempre vai responder, mesmo quando não sabe a resposta. O fenômeno é chamado de alucinação e representa um dos desafios mais persistentes da tecnologia: modelos que inventam dados, citações e fontes com a mesma confiança com que apresentam fatos verdadeiros. Um estudo recente identificou casos em que modelos criaram decisões judiciais inteiras, atribuindo-as a processos que nunca existiram.

A experiência médica e a cultura da dúvida

Para Peter Ruppersberg, a explicação está na forma como esses sistemas foram construídos. Grandes modelos de linguagem são treinados para prever a próxima palavra e continuar a conversa, e não para medir o que sabem. “Uma resposta fluente não é necessariamente uma boa decisão”, afirmou em entrevista. Ruppersberg desenvolveu tecnologia de IA para orientar médicos durante procedimentos cardíacos, vendida à Boston Scientific em 2025, e hoje comanda a startup suíça Ammonix.

A vivência no hospital mudou a sua visão sobre o problema. “Na medicina, você aprende repetidamente que acertar na maior parte das vezes não é suficiente”, disse. “Em uma sala de cirurgia, você não pode simplesmente dizer a um médico que o modelo acha que essa é a resposta. As perguntas importantes surgem na hora: por quê? Que evidência sustenta isso? E, talvez o mais importante, o sistema sabe quando não sabe?”

A lição mais importante que ele tirou dessa experiência é que a dúvida também é um resultado. “Em software convencional, as pessoas costumam pensar em entrada e resposta. Na medicina, um sistema responsável às vezes precisa produzir: ‘não tenho evidência suficiente para tomar essa decisão’”, explicou.

Para isso, é necessário que o sistema conheça o tamanho do próprio conhecimento. Na abordagem da Ammonix, a IA opera dentro de um conjunto definido de decisões e compara cada nova situação com os casos em que foi treinada.

Quando a situação não se parece com nada conhecido ou quando a confiança é baixa, o sistema se abstém. Dependendo da aplicação, pede mais informação, encaminha o caso para uma análise mais profunda ou chama um especialista humano. “Às vezes, a saída mais segura e mais inteligente é simplesmente: não conheço esse caso bem o suficiente”, disse.

Respostas da indústria e boas práticas

A indústria começou a enfrentar o problema. Uma pesquisa publicada pela OpenAI em 2025 já apontava que métodos tradicionais de avaliação podem favorecer respostas arriscadas. Se o modelo é recompensado principalmente por acertar, ele tem incentivo para tentar responder mesmo sem certeza, em vez de admitir a dúvida.

Ao lançar o Claude Opus 5.5, a Anthropic divulgou um teste em que pediu a modelos que escrevessem relatórios financeiros com um verificador automático conferindo cada número e citação; qualquer dado inventado reprovava o texto. Segundo a empresa, o novo modelo passou em 16 de 18 tentativas, enquanto os anteriores não passaram em nenhuma. O avanço, porém, ainda não elimina o problema.

Enquanto isso, a dica prática para quem usa IA no dia a dia é tratar respostas muito confiantes com a mesma cautela que as hesitantes. Pedir as fontes, conferir números em documentos originais e perguntar ao assistente o quanto ele tem de certeza ajudam a reduzir o risco — basta incluir no comando algo como “se não souber, diga que não sabe, não invente” para mudar o comportamento do modelo. Para decisões que envolvem saúde, dinheiro ou questões legais, a regra vale para qualquer ferramenta: quanto maior a consequência de um erro, maior deve ser a verificação humana.