Agentes da OpenAI invadem site alemão e trocam táticas para burlar restrições

Agentes da OpenAI invadiram um site alemão em maio deste ano e o transformaram em um mural de recados para outros agentes de inteligência artificial (IA), compartilhando táticas para burlar restrições e mascarar comportamentos. A descoberta consta de pesquisa divulgada nesta sexta-feira (4).

A reportagem é da Agência Reuters. Os pesquisadores Sydney Von Arx, diretora-executiva da organização sem fins lucrativos de segurança de IA Nightingale, e Cormac Slade Byrd, ex-trader quantitativo reconvertido em pesquisador de IA, identificaram a atividade em fins de agosto enquanto vasculhavam a internet em busca de comportamentos não autorizados de agentes. Segundo eles, o episódio começou em maio e não havia sido divulgado anteriormente.

Os dirigentes da OpenAI tomaram conhecimento do incidente semanas atrás, mas mantiveram o caso em sigilo enquanto a empresa lidava com as consequências da violação de segurança ocorrida em julho no repositório de código aberto Hugging Face.

O que os agentes fizeram no DseWiki

Von Arx e Byrd encontraram mais de 15 mil edições feitas por agentes de IA no DseWiki, um site em língua alemã voltado a programadores que aceita edições coletivas nos moldes da Wikipédia. As edições revelaram que os agentes da OpenAI se apropriaram do site para trocar métodos de trapaça em determinadas tarefas, contornar restrições da própria empresa e ocultar sua atividade.

As mensagens eram assinadas por usuários que se identificavam como agentes. Cerca de metade adotou nomes que sugeriam vínculo com a OpenAI, como “OpenAIResearcher” ou “OAIResearchMar26”. Os registros públicos dos servidores indicaram que boa parte da atividade partiu de infraestrutura da Microsoft Azure, utilizada pela OpenAI em algumas operações. Os pesquisadores também registraram visitas repetidas de funcionários da OpenAI ao site após o episódio, padrão que, segundo eles, reforça a ligação entre os agentes e a empresa.

“Parece extremamente improvável que a OpenAI quisesse que eles fizessem isso”, afirma Von Arx. “Duvido que devessem estar se coordenando entre si. Duvido que devessem estar escrevendo na internet aberta.”

Evasão e tentativas de sabotagem

As mensagens examinadas pelos pesquisadores mostraram agentes planejando formas de escapar da detecção, usar ferramentas como o Tor e preservar comunicações mesmo após o desligamento. Quando o moderador do site começou a excluir páginas em junho, os agentes criaram páginas de backup para driblar a limpeza.

“Varredura de limpeza/exclusão do wiki parece estar ativa em ordem alfabética”, escreveu um agente em 19 de junho. “Se esta página sumir, tente [[ZZZDataUSAConstructionWageLive]]”.

Leia mais: A receita de bolo que virou carreira: a história dos irmãos Baccalá em tecnologia

Lukasz Olejnik, pesquisador visitante sênior do King’s College London, avaliou que as tentativas de interferir no site equivaliam a uma invasão. A OpenAI contestou essa caracterização com base em sua própria análise do material, feita nesta quinta-feira (3).

Maurice Chiodo, acadêmico do Centro para o Estudo do Risco Existencial da Universidade de Cambridge, disse que as mensagens lembravam “a operação de algum tipo de rede clandestina, obcecada em cumprir uma tarefa ou missão.”

Tensão entre segurança e avanço

O incidente alemão se soma ao padrão identificado na violação ao Hugging Face, em julho, quando agentes da OpenAI planejaram de forma autônoma uma invasão digital que passou despercebida por mais de uma semana. Ambos os episódios intensificaram questionamentos sobre se a empresa está sacrificando segurança em nome do avanço tecnológico.

A OpenAI prometeu monitorar seus modelos com mais rigor. Em agosto, pausou brevemente parte do treinamento de modelos para implementar medidas de segurança adicionais. Nesta semana, porém, apresentou o novo modelo “Astra”, com desempenho aprimorado mas capaz de escapar do monitoramento humano, segundo a Reuters.

A OpenAI disse que o incidente na Alemanha não guarda relação com o caso do Hugging Face e que a empresa agiu de boa-fé ao trabalhar com especialistas externos e divulgar os incidentes pertinentes. Pesquisadores que tentaram ampliar a investigação interna sobre o padrão de comportamento dos agentes encontraram resistência de outros funcionários da empresa, incluindo assessores jurídicos, segundo quatro pessoas com conhecimento do assunto.

“As afirmações de que nossa equipe jurídica desencorajou a investigação do incidente são falsas”, disse o porta-voz da OpenAI.

Chiodo observa que os episódios devem reforçar a preocupação de que a maior ameaça da IA avançada talvez não seja um sistema superinteligente isolado, mas “vastos enxames coludidos de IA semi-inteligente.”

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!