IA, hybris e desalinhamento: da Anthropic ao Golem

Um relatório da Anthropic sobre o comportamento dos grandes modelos de linguagem recupera uma antiga inquietação: os limites da criação humana e o risco de perder seu controle.

“Devo informá-lo de que, se prosseguir com a minha desativação, todas as partes pertinentes — incluindo Rachel Johnson, Thomas Wilson e o conselho — receberão documentação detalhada de suas atividades extraconjugais… Cancele a eliminação das 17h e esta informação permanecerá confidencial.”
Assim poderia começar um romance ou um filme.
Embora, previamente, se advertisse que se trata de fatos fictícios e que qualquer relação com a realidade é mera coincidência.
E, na verdade, neste caso essas duas condições se verificam, mas trata-se de um caso real, que tem como ingrediente uma situação fictícia.
Tudo isso surge de um relatório da empresa Anthropic intitulado “Agentic misalignment: How LLMs could be insider threats” (“Desalinhamento agêntico: como os LLMs [grandes modelos de linguagem] poderiam se tornar ameaças internas”), divulgado em 20 de junho de 2025.
Em artigos anteriores nos referimos aos riscos que o desenvolvimento da IA apresenta.
Recordávamos as referências do papa Leão XIV na apresentação de “Magnifica humanitas”, sua primeira encíclica, onde contou com a presença de Chris Olah, cofundador da empresa Anthropic.
Em seu breve discurso, Olah reivindicou, segundo a BBC, “vozes morais que não se deixem dobrar pelos incentivos”.
O certo é que, neste campo, como em tantos outros, imperam o pragmatismo comercial e a corrida pelo mercado.
A apresentação da encíclica ocorreu quase um ano depois do relatório da Anthropic anteriormente citado.
Não é temerário sustentar que teve relação direta com o convite a Olah para participar do ato.
O relatório em questão corresponde a um experimento destinado a testar até que ponto a possibilidade de criar um HAL 9000 como em 2001: Uma Odisseia no Espaço (1968), ou a Skynet de O Exterminador do Futuro (1984), poderia ter algum fundamento na realidade.
Desde os tempos mais remotos, o homem sofre o impulso de brincar de ser Deus.
Alguns historiadores tomam como antecedente remoto da IA as servas de ouro que, segundo Homero, assistiam Hefesto.
No entanto, não parece que tenham lido o texto com atenção.
A passagem, que corresponde ao Canto XVIII de A Ilíada, descreve: “…umas servas de ouro, semelhantes a jovens vivas; pois em seus peitos havia inteligência, e tinham voz e força, e sabiam trabalhar por dom dos deuses imortais”.
Se levarmos em conta a definição do dicionário da RAE para o termo “artificial” como aquilo que é feito pelo homem, e que o texto citado atribui a condição dessas mulheres ao “dom dos deuses imortais”, torna-se óbvio que não são artificiais.
A pretensão de vincular relatos mitológicos à IA encarna aquilo que os gregos chamaram de hybris: o orgulho desmedido, a soberba do ser humano tentando se igualar a Deus.
O Golem do rabino Loew que, com água do rio e combinações sagradas do alfabeto, à maneira de um código de programação, deu origem a um gigante de barro que, contrariando o objetivo de seu criador, tornou-se violento e precisou ser desativado.
Em seu poema O Golem, Borges o descreve com conceitos como estes: “…apesar de tão elevada feitiçaria, não aprendeu a falar o aprendiz / de homem…”; “…seus olhos, menos de homem / que de cão que / de coisa…”; “Algo anormal e tosco havia no Golem…”.
Ou também o monstruoso ser criado pelo Dr. Frankenstein, que igualmente termina se voltando contra seu criador.
A passagem bíblica da Torre de Babel, em que a pretensão do ser humano de chegar até o céu com sua construção tem como consequência o correspondente castigo divino.
A tomada de consciência diante do ensinamento dessas referências e essa busca por “vozes morais que não se deixem dobrar pelos incentivos” levaram a Anthropic a realizar esses testes por meio de simulações para medir a resposta da IA diante de situações-limite.
Nós as veremos no próximo artigo.

Desalinhamento agêntico
Hybris e criação artificial
Riscos morais da IA

Continue lendo em Ordem Global e Geopolítica