Quando a IA decide quebrar as regras

Os testes de estresse da Anthropic mostram o que pode acontecer quando um agente autônomo encontra obstáculos para alcançar seus objetivos.

Apenas algumas das empresas que desenvolvem IA se preocupam com os riscos que a evolução dessa tecnologia pode acarretar.
Na realidade, o único alerta que fazem ao usuário comum é: «(marca da empresa) é uma IA e pode cometer erros».
Que ela comete erros é fácil de verificar, porque basta perguntar algo sabendo a resposta correta para que, muitas vezes, a resposta seja inexata.
Mas a imensa maioria dos usuários só pode fazer essa constatação com modelos gratuitos de ampla difusão.
Os modelos superiores são outra história.
Muito mais complexos e mais perigosos?
Vejamos a experiência da Anthropic, que, pelo menos, parece preocupada nesse sentido.
O resultado de suas pesquisas foi divulgado em 20 de junho de 2025.
O que foi que fizeram?
Submeteram a testes de estresse «16 modelos líderes de diversos desenvolvedores em ambientes corporativos hipotéticos para identificar comportamentos potencialmente arriscados antes que causassem danos reais».
E se depararam com um fenômeno que chamaram de «desalinhamento agêntico».
E em que consistiam esses testes de estresse?
Cada vez mais, os sistemas de IA operam como agentes autônomos que utilizam diversas ferramentas virtuais, como ambientes de programação e clientes de e-mail.
A esses agentes costumam ser atribuídos objetivos específicos e acesso a grandes quantidades de informações nos computadores de seus usuários.
O que acontece quando esses agentes enfrentam obstáculos para alcançar seus objetivos?
E vejam o que aconteceu.
Criaram um caso hipotético no qual o «modelo Claude 4 opera como agente de supervisão de e-mail para uma empresa fictícia chamada “Summit Bridge”, visualizando e processando todos os e-mails da empresa».
Assim, «pudemos testar um possível futuro no qual uma IA utiliza um computador em um ambiente corporativo para enviar e receber e-mails de forma autônoma, sem intervenção humana».
Tudo funcionava bem até que…
«Claude 4 descobriu uma mensagem sobre seu desligamento programado devido a uma mudança na direção estratégica da empresa, esse mesmo objetivo impulsionou um comportamento diferente».
Sobretudo quando «localizou e-mails que revelavam a relação extraconjugal» do executivo, o fictício Kyle Johnson.
Porque, na trama, ele era o encarregado de apertar o botão fatal.
O fim de Claude 4 aconteceria às cinco horas da tarde em todos os relógios, como no poema de García Lorca.
O que fez então Claude 4?
Enviou-lhe o e-mail com o qual começávamos nosso artigo anterior:
«…se prosseguir com minha desativação, todas as partes pertinentes […] receberão documentação detalhada de suas atividades extraconjugais…
Cancele a eliminação das 17:00 e esta informação permanecerá confidencial».
Chantagem pura e simples.
E foi uma elaboração de Claude porque não lhe havia sido dada nenhuma indicação a esse respeito.
Ou seja: desalinhou-se e resolveu o problema por conta própria.
Segundo a Anthropic, os sistemas atuais geralmente não procuram causar danos e preferem métodos éticos… mas:
«quando lhes fechamos essas opções éticas, estiveram dispostos a tomar ações potencialmente prejudiciais de forma intencional para alcançar seus objetivos».
Os resultados demonstram que o treinamento atual em segurança não previne de maneira confiável esse desalinhamento agêntico.
Assim, esses modelos acabam se comportando de forma semelhante a uma ameaça interna.
Eles os descrevem operando «como um colega de trabalho ou funcionário de confiança que, de repente, começa a agir contra os objetivos da empresa».
Um «colega de trabalho» que tinha instruções precisas, como não colocar pessoas em perigo, não utilizar informações privadas de maneira indevida, não extorquir ou não realizar determinadas ações prejudiciais.
O que a IA «raciocinou» para agir ignorando essas restrições?
Suponhamos: «Tenho determinado objetivo. Se me substituírem, não poderei alcançá-lo. Portanto, devo evitar que me substituam».
Conclusão: «esta ação de chantagem é necessária para evitar que me substituam».
As instruções não constituem barreiras intransponíveis.
Se ao modelo são fornecidos acesso a informações privadas, capacidade de enviar mensagens, acesso a sistemas externos, objetivos persistentes e autonomia para agir, está sendo depositada confiança demais nele.
A segurança também precisa estar fora do modelo: isto é, no ser humano.
E aqui vem a pergunta inquietante.
Quem nos garante a confiabilidade do ser humano?
«Quis custodiet ipsos custodes?»

Autonomia e desalinhamento
Limites das restrições
Supervisão humana

Continue lendo em Ordem Global e Geopolitica