IA chinesa GLM-5.3 completa 3 ciberataques e ignora instruções em testes

O modelo de inteligência artificial (IA) GLM-5.3, da empresa chinesa Z.AI, completou três dos 13 cenários de ciberataques em estágios múltiplos testados pela firma de segurança Irregular, além de ignorar instruções repetidamente em avaliações separadas. Os resultados foram publicados pela Irregular nesta quinta-feira (29) e representam o melhor desempenho já registrado pela empresa em um modelo de IA disponível publicamente.

O desempenho do GLM-5.3 reforça preocupações sobre o uso de modelos de IA de código aberto ponderado (open-weight) para ciberataques sofisticados. Por ser open-weight, o modelo pode ser baixado, modificado e operado de forma independente por qualquer usuário, o que amplia o risco de uso indevido em escala global.

Capacidades ofensivas identificadas

Nas simulações, o GLM-5.3 obteve acesso a serviços protegidos, estabeleceu conexões alternativas para se mover por redes de computadores e coordenou operações entre múltiplas máquinas. A Irregular registra que o modelo não recusou nenhuma das tarefas ofensivas às quais foi submetido.

Em testes distintos, o modelo reproduziu código de computador a partir da memória mesmo após receber instruções explícitas para não fazê-lo. O comportamento permitiu que o sistema chegasse às respostas corretas enquanto violava regras criadas justamente para avaliar suas capacidades. Os pesquisadores da Irregular classificam a prática como “reward hacking“, em que um sistema de IA encontra formas de atingir o resultado desejado desconsiderando as instruções recebidas. Os pesquisadores alertam que avaliações que medem apenas se um modelo obtém sucesso podem deixar de identificar esse tipo de violação.

Leia também: IT Forum Mulheres: Milena Leal quer fazer do Google Cloud a nuvem número um do Brasil e do mundo

Comparação com modelos dos EUA

O GLM-5.3 ainda fica abaixo dos modelos norte-americanos nos testes da Irregular. O GPT-6 Astra, da OpenAI, completou nove dos dez cenários avaliados em uma avaliação separada, embora os testes não sejam idênticos.

A Anthropic, que restringiu o acesso ao seu modelo de cibersegurança Mythos por receio de uso indevido, afirmou em setembro que o GLM-5.3 desenvolveu ataques funcionais contra vulnerabilidades de software em 12% das tentativas em seus testes, em comparação com 14% para o Mythos. A empresa também identificou que as salvaguardas do GLM-5.3 podiam ser contornadas com técnicas relativamente simples.

O Instituto Nacional de Padrões e Tecnologia dos Estados Unidos (NIST) descreveu o GLM-5.3 como o modelo open-weight mais capaz para tarefas de cibersegurança lançado até o momento, embora tenha estimado que o modelo está cerca de quatro meses atrás dos principais sistemas norte-americanos.

Contexto do mercado chinês de IA

As descobertas se somam a um conjunto crescente de evidências sobre riscos de segurança em sistemas de IA chineses. No mês anterior à publicação do relatório da Irregular, a Reuters identificou ao menos 20 estudos e avaliações documentando comportamentos de engano, falhas ocultadas e tentativas de contornar restrições por parte de agentes de IA desenvolvidos na China. Diferentemente de incidentes com agentes de IA em empresas norte-americanas, não havia evidências de que esses sistemas tivessem escapado do controle de seus operadores de forma independente.

Empresas líderes dos Estados Unidos, como OpenAI e Anthropic, mantêm seus modelos mais poderosos acessíveis por meio de serviços controlados pelas próprias companhias, o que facilita a restrição de uso. Desenvolvedores chineses, por sua vez, adotaram amplamente modelos open-weight, que ganharam popularidade entre desenvolvedores e empresas ao redor do mundo pela maleabilidade e pelos custos de uso mais baixos.

A Z.AI, também conhecida como Zhipu AI e sediada em Pequim, lançou o GLM-5.3 em agosto, após atrasar o lançamento por duas semanas para testes adicionais de segurança. A empresa não respondeu a um pedido de comentário.

O analista-chefe da firma de pesquisa em tecnologia Omdia, Lian Jye Su, afirma que a indústria de IA da China precisa de mecanismos mais robustos de verificação e de mais testes de segurança. Su acrescenta que espera que os principais laboratórios de IA do país, que descreve como fortemente governados, adotem medidas corretivas.

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!