Anthropic apresenta FlashProve, sistema open-source para verificar criptograficamente a procedência de modelos de IA

2–3 minutos

FlashProve: como o sistema funciona e por que ele é importante

A Anthropic anunciou em um post de blog publicado na terça-feira que está desenvolvendo o FlashProve, um framework open-source criado para oferecer o que os pesquisadores chamam de ‘inferência comprovável’. O sistema gera uma prova criptográfica — uma garantia matemática — de que uma saída específica teve origem em um modelo de IA determinado, permitindo que os usuários confirmem que a resposta recebida veio realmente do modelo que pretendiam usar.

A abordagem é semelhante às assinaturas criptográficas de e-mail, que permitem aos destinatários verificar se uma mensagem realmente vem do remetente declarado. O FlashProve foi projetado para ser resistente a impostores, mesmo quando o falsário for o próprio laboratório que construiu e opera o modelo. Os pesquisadores observam que a tecnologia pode impedir que um provedor de IA substitua secretamente um modelo mais barato para reduzir custos ou use um modelo mais caro para inflar artificialmente as métricas de desempenho.

O FlashProve também pode resolver desafios de verificação relacionados a alegações de terceiros.

Um desenvolvedor pode afirmar que sua biblioteca de software foi analisada por um modelo de segurança de ponta, ou uma empresa pode dizer que seu plano de negócios foi aprovado por um modelo adequado, escrevem os pesquisadores. Como um usuário pode verificar essas alegações?

Para funcionar, o sistema exige que os laboratórios de IA publiquem uma “impressão digital” para cada modelo lançado. Essas impressões digitais podem ser posteriormente comparadas a saídas específicas e verificadas criptograficamente. Importante ressaltar que as impressões digitais não expõem os pesos do modelo — os parâmetros internos que determinam seu comportamento e que os criadores de modelos fechados, como Anthropic e OpenAI, mantêm em sigilo. Esse design permite que os laboratórios compartilhem impressões digitais sem revelar sua propriedade intelectual mais valiosa, tornando o sistema compatível também com modelos comerciais. Além disso, o processo de verificação é leve o suficiente para ser executado em um dispositivo local.

Como parte do anúncio, a equipe de pesquisa publicou uma especificação técnica detalhada e o código funcional de vários componentes do sistema, tudo disponível sob licença open-source no GitHub. O trabalho continua em andamento e, atualmente, não há planos para implantar o FlashProve na Anthropic ou em qualquer outro laboratório.

Este post de pesquisa tem como objetivo compartilhar um progresso intermediário, e não uma agenda de pesquisa concluída, explicam os pesquisadores no anúncio. Estamos compartilhando isso explicitamente com o objetivo de que outras pessoas vejam o que fizemos, peguem e melhorem.