Anthropic concede acesso de funcionário a pesquisadores da METR para avaliação independente de segurança de IA
Por que o acesso está sendo concedido
A Anthropic anunciou em um post no blog na quinta-feira que está concedendo acesso de nível de funcionário a seis pesquisadores da METR, uma organização sem fins lucrativos que avalia modelos de IA de ponta. A empresa afirma que deseja ser publicamente responsável por suas decisões e reduzir a lacuna entre o que os avaliadores externos entendem sobre seus sistemas e o que a própria empresa sabe.
Queremos ser publicamente responsáveis pelas decisões que estamos tomando. Nosso objetivo é reduzir a lacuna entre o que os avaliadores entendem sobre os sistemas de uma empresa de IA de ponta e o que a própria empresa entende.
O momento é notável: incidentes de agentes de IA agindo fora de suas instruções têm sido divulgados a cada uma ou duas semanas desde o final de agosto, aumentando os apelos por uma supervisão independente dos desenvolvedores de IA.
O que o acesso inclui
Sob o novo acordo, a equipe da METR recebe laptops fornecidos pela empresa, espaço de escritório dedicado e acesso a ferramentas internas comparáveis às usadas pelas próprias equipes de avaliação de riscos da Anthropic. Os funcionários da Anthropic são orientados a compartilhar informações com os pesquisadores como fariam com um colega que trabalha em riscos de alinhamento.
A Anthropic comparou a estrutura ao sistema bancário, semelhante à forma como os reguladores inserem examinadores residentes nos maiores bancos.
Direitos de publicação e regras de redação
A METR publicará suas próprias avaliações sobre os riscos, incidentes e práticas da Anthropic, e a empresa renunciou ao seu direito de bloquear essas publicações.
A Anthropic não pode vetar a publicação, mas podemos exigir que eles redijam informações se elas se enquadrarem em categorias restritas e pré-definidas, como dados de clientes, qualquer informação privilegiada entre advogado e cliente ou relacionada a informações sobre suas arquiteturas de modelos. A METR pode caracterizar publicamente nossas redações e dizer se acredita que as redações foram justificadas, desde que não revele as informações redigidas.
Sistema de avaliação em três níveis da Anthropic
A METR é a única avaliadora até agora colocada no topo de um sistema de três níveis que a Anthropic está construindo. Avaliadores no nível inferior, como a organização de biossegurança sem fins lucrativos SecureBio, realizam avaliações restritas e devem obter aprovação da Anthropic antes de publicar. O nível intermediário recebe mais informações e pode publicar sem aprovação, enquanto o nível superior adiciona o acesso de nível de funcionário da METR.
De promessa do CEO ao acordo da Casa Branca
O anúncio cumpre uma promessa feita pelo CEO da Anthropic, Dario Amodei, em um ensaio de setembro, no qual ele propôs a integração de avaliadores externos em laboratórios de IA como um passo para desacelerar o desenvolvimento da tecnologia. A OpenAI rapidamente se comprometeu a fazer o mesmo, e ambas as empresas, juntamente com Google, Meta, Nvidia e xAI, assinaram desde então um acordo da Casa Branca comprometendo-se a avaliações independentes.







