Uma investigação da consultoria Haus Research analisou as referências apresentadas pelo sistema de busca baseado em inteligência artificial Perplexity ao responder 310 perguntas factuais sobre 210 empresas de tecnologia. Os pesquisadores descobriram que, em mais de um terço dos casos, o link fornecido não sustentava a informação apresentada.
Metodologia da avaliação
A análise utilizou os dois modelos do Perplexity, sonar e sonar‑pro, acessados por uma interface externa ao aplicativo. Foram formuladas perguntas sobre dados objetivos — como ano de fundação, valor de rodadas de investimento, número de funcionários, preço de planos, sede, receita, incidentes de segurança, CEO atual, aquisições e nível de disponibilidade — e, em seguida, todas as fontes citadas foram visitadas para verificar se o conteúdo correspondia ao número declarado.
Resultados principais
Do total de 1.826 citações vinculadas a afirmações numéricas, 34,7% levaram a páginas que não carregaram ou que não continham o valor mencionado. Quando a análise considerou cada afirmação em vez de cada citação isolada, a taxa de falha caiu para 14,4% entre 872 declarações avaliadas.
- Apenas 1,3% dos links estavam efetivamente quebrados.
- 16,1% das URLs exigiam autenticação, eram protegidas por paywall ou bloqueadas para robôs.
- O restante correspondia a páginas acessíveis, mas que simplesmente não traziam o dado citado — como no caso do preço do plano básico da Vercel, onde a página oficial listava planos, mas omitia o valor de US$ 20 mencionado pela IA.
Informações que o sistema tem mais dificuldade em comprovar
Perguntas sobre o CEO atual de uma empresa tiveram a menor taxa de confirmação, de 44,3%. Dados sobre o endereço da sede também foram problemáticos, com 53% de acerto. Por outro lado, informações sobre o número de funcionários foram confirmadas em 82% dos casos, e o ano de fundação, em 75%.
Os pesquisadores atribuem a discrepância ao fato de que números de funcionários costumam estar em campos estruturados de páginas dedicadas, enquanto dados como a data exata da posse de um executivo raramente são registrados de forma explícita.
Diferença entre versões e fontes mais utilizadas
O estudo não encontrou diferença significativa entre o sonar e o sonar‑pro: o primeiro confirmou 65,9% das citações numéricas, enquanto o segundo atingiu 64,7%, uma variação dentro da margem de erro.
As fontes mais citadas foram os próprios sites das empresas (23,4%) e diretórios de negócios como PitchBook, ZoomInfo e Crunchbase (23,1%). Essas páginas de diretório mostraram-se as menos duráveis: apenas 66% delas permaneciam acessíveis durante a verificação, e quase 40% nunca foram arquivadas pelo Internet Archive.
Limitações da pesquisa
Os autores alertam que o trabalho representa um instantâneo de um único dia (2 de setembro), inclui apenas perguntas em inglês e utiliza um acesso técnico diferente do aplicativo padrão do Perplexity. Além disso, o estudo não mediu se as respostas em si estavam corretas, mas apenas se as fontes citadas serviam como prova para as afirmações.
Implicações para os usuários
A promessa dos buscadores de IA de fornecer referências verificáveis ainda não se concretiza na prática. Embora a tecnologia consiga localizar informações relevantes, a associação a fontes inadequadas pode gerar falsa confiança. Usuários devem continuar a tratar as respostas fornecidas por ferramentas como o Perplexity como pontos de partida e não como provas definitivas.
