OpenAI lança novas ferramentas de detecção de material de abuso sexual infantil e medidas de segurança em meio a críticas legais

2–3 minutos

Classificador de imagens baseado em IA mira material de abuso sexual infantil

A OpenAI apresentou um classificador de imagens projetado para identificar material de abuso sexual infantil, incluindo imagens geradas por inteligência artificial. O sistema busca indicadores visuais de abuso nunca vistos antes e atribui uma pontuação de risco para orientar revisores humanos. Em parceria com o National Center for Missing and Exploited Children, a OpenAI oferece acesso gratuito à API do classificador para empresas selecionadas. Testes iniciais com parceiros mostraram que a ferramenta sinaliza 48% menos imagens, mas identifica o mesmo número de casos abusivos, e as imagens sinalizadas têm o dobro de probabilidade de serem realmente abusivas, reduzindo a carga de trabalho dos revisores.

Telas de alerta no ChatGPT e suspensões de conta

Para impedir que usuários busquem ou criem conteúdo sexualizado envolvendo crianças, a OpenAI está adicionando telas de alerta no ChatGPT. Quando um usuário tenta fazer esse tipo de solicitação, o sistema exibe um aviso, o direciona para suporte especializado e impõe uma suspensão de conta de 24 horas. Violações repetidas podem resultar em exclusão permanente da conta. Essas mensagens de dissuasão foram elaboradas com contribuições da Protect Children, da Lucy Faithfull Foundation e do pesquisador Joel Scanlan, da Universidade da Tasmânia, que avaliou independentemente um teste dos alertas.

Diretrizes para desenvolvedores e ferramentas para autoridades

A OpenAI publicou um conjunto de diretrizes para desenvolvedores com o objetivo de prevenir, detectar e denunciar material de abuso sexual infantil. Os primeiros adotantes relatam que as diretrizes os ajudaram a integrar ferramentas de proteção infantil e a se registrar para denunciar material ao NCMEC. Para investigadores, a OpenAI oferece recursos baseados em IA, como plugins dedicados, ferramentas de investigação e recursos avançados de análise de dados. O acesso é gerenciado por administradores do programa, e um guia de campo e sessões de treinamento são oferecidos para ajudar os profissionais de segurança pública a usar efetivamente os recursos de IA.

Contexto: desafios legais e esforços anteriores de segurança

O lançamento ocorre em um momento em que a OpenAI enfrenta várias ações judiciais que alegam que sua tecnologia prejudica os usuários, especialmente crianças. A organização sem fins lucrativos Common Sense Media classificou a tecnologia da OpenAI como um “risco inaceitável” para adolescentes, e outros chatbots de IA, como o Grok, foram usados indevidamente para gerar imagens sexualizadas não consensuais de crianças. No último ano, a OpenAI respondeu com um plano de segurança, políticas de conteúdo atualizadas, modelos reajustados para bloquear saídas prejudiciais e o lançamento de uma versão do ChatGPT voltada para adolescentes, destacando um esforço mais amplo em direção ao uso responsável da IA.