Safeworld quer convencer o mundo de que robôs com IA generativa não colocarão humanos em risco

Visão dos fundadores e financiamento

O diretor do laboratório Safe AI da Universidade Carnegie Mellon, Dr. Ding Zhao, o executivo veterano de startups Kyle Wong e o engenheiro de machine learning Simo Rachidi lançaram a Safeworld para enfrentar a imprevisibilidade de robôs movidos por IA generativa. A empresa saiu do modo sigiloso com uma rodada de financiamento inicial de mais de US$ 12 milhões, liderada pela Shine Capital e pela a16z Speedrun, com a participação do Box Group, do Fundo de Doação da Universidade Carnegie Mellon, da Innovation Endeavors e da SV Angel.

O desafio de segurança da IA probabilística

Zhao descreve o problema como duplo: avaliar o risco de um sistema probabilístico e conquistar a confiança. “O desafio de segurança do qual estamos falando é uma combinação de, um, avaliações probabilísticas de IA generativa muito avançadas — como avaliar o risco de um sistema probabilístico? A segunda parte, que é realmente difícil, é a questão da confiança, e você precisa de ambas para implantar um robô”, afirma ele.

Jonathan Lai, parceiro da a16z Speedrun, alertou em entrevista ao TechCurnch que a indústria deve estabelecer padrões de segurança agora, antes que os robôs passem a compartilhar lares e locais de trabalho. “Quando os robôs estiverem em casas colidindo com crianças e causando incidentes de segurança, já será tarde demais”, disse ele.

Zhao também alerta que muitos subestimam a dificuldade dos casos extremos. “Muitas pessoas estão subestimando o quão difícil será resolver alguns desses casos extremos”, disse ele. “Não é o robô aspirador, no ambiente de demonstração, que nos preocupa. É o robô que será implantado em larga escala, com pessoas que potencialmente nunca operaram um robô antes.”

Plataforma de simulação e cenários do mundo real

A principal oferta da Safeworld é um conjunto de simulação que coloca o software de controle real de um robô em ambientes virtuais povoados por modelos humanos realistas. A abordagem espelha os regimes de teste usados por empresas de veículos autônomos como Tesla e Wayve, mas Zhao argumenta que os robôs enfrentam uma tarefa mais difícil porque operam em ambientes não estruturados, onde cada instalação tem suas próprias expectativas de segurança.

Por exemplo, explica Wong, um canto sem visibilidade em uma fábrica levanta questões sobre velocidade, distância de parada e se um robô detectará um humano carregando caixas. A Safeworld recria esse canto em ferramentas como Genesis ou MuJoCo, insere o software do robô e executa milhares de cenários. A imprevisibilidade humana — tropeços, quedas, variações de postura — torna o trabalho de simulação especialmente exigente. “Tropeçar e cair também é um bom exemplo de algo com o que fazemos muitos testes na simulação”, disse Wong.

Embora muitos construtores de robôs já utilizem ferramentas internas semelhantes, os fundadores acreditam que um terceiro neutro pode validar projetos e permitir que concorrentes compartilhem dados de casos de segurança.

Contexto do setor e parcerias

Vishal Dugar, CTO da Gritt Robotics, está desenvolvendo o cérebro de IA para robôs que auxiliam trabalhadores na instalação de painéis fotovoltaicos em grandes fazendas solares e pretende expandir para tarefas de construção mais complexas. A Gritt se associou à Safeworld para integrar suas simulações de segurança. Dugar observa que a verificação matemática formal é impraticável para a maioria dos sistemas. “A dificuldade com a maioria dos nossos sistemas é que é muito difícil provar formalmente isso fazendo matemática, escrevendo equações e dizendo que sim, o sistema é verificado como seguro. Isso precisa ser feito empiricamente”, afirma ele.

Seus robôs trabalham ao lado de humanos, portanto, garantir que um braço robótico não golpeie um trabalhador exige levar em conta inúmeras aparências e comportamentos humanos — ajoelhar, ficar em pé, agachar, correr e variações em vestuário, tamanho, forma, altura e cor da pele. “Os humanos têm muitos tipos de aparências”, aponta Dugar. “Você precisa responder a todos esses comportamentos que os humanos poderiam potencialmente exibir nesses locais.”

Perspectiva de mercado e modelo de negócios

Embora a IA generativa na robótica ainda esteja em fase inicial, a equipe da Safeworld acredita que está abordando o problema certo. Zhao prevê que a empresa pode se tornar a primeira lucrativa no setor. “Provavelmente seremos a primeira empresa lucrativa nesse campo”, diz ele. “Porque se alguém quiser implantar, precisará nos pagar para lidar com a situação.” Os fundadores ainda estão decidindo se venderão uma plataforma para usuários externos ou oferecerão um modelo baseado em serviços, mas mantêm a confiança na demanda por validação de segurança independente.