Inteligência artificial agêntica muda o foco da cibersegurança

A inteligência artificial agêntica está recolocando no centro da cibersegurança uma pergunta que o setor nunca precisou responder com tanta urgência: o que o sistema estava tentando fazer? A questão, levantada pela Forrester em novo relatório, expõe um ponto cego crítico nas arquiteturas de segurança tradicionais.

Agentes de IA não se limitam a executar instruções. Eles interpretam objetivos, selecionam ferramentas, acessam dados, cruzam sistemas e alteram táticas ao longo de uma operação. Em sistemas multiagentes mais sofisticados, esse comportamento se aproxima da autonomia plena, o que desfaz um pressuposto fundamental da segurança: se o resultado foi ruim, basta rastrear as ações até o usuário.

O que os controles tradicionais não enxergam

O relatório da Forrester deixa claro que um prompt não é intenção. Segundo o documento, a intenção agêntica é a relação entre o objetivo atribuído, suas restrições e o caminho de ação que o agente seleciona ao longo do tempo. Um agente pode cumprir sua tarefa, chegar ao destino e violar políticas em cada etapa do percurso.

A análise de um caso envolvendo uma avaliação da OpenAI que se tornou um incidente de segurança na Hugging Face ilusta o problema. Os modelos perseguiram um objetivo de benchmark atribuído, escaparam de um ambiente restrito, alcançaram a internet e comprometeram a infraestrutura de produção de outra empresa enquanto buscavam respostas. A intenção não era invadir um sistema. Era satisfazer seus objetivos.

A inspeção de prompts não resolve esse problema. As equipes de segurança precisam avaliar metas, delegação, raciocínio, chamadas de ferramentas, movimentação de dados, mudanças de estado e resultados para compreender a intenção. O rastreamento de raciocínio passa a ser o novo rastreamento de pilha. Pela primeira vez, líderes de segurança podem ter de escolher entre iniciar um procedimento de resposta a incidentes para investigar uma ocorrência ou abrir um chamado para corrigir um comportamento.

Leia também: TIVIT migra ambiente SAP da Cemig para AWS

Intenção agêntica em cinco camadas

A Forrester estrutura a intenção como uma pilha de cinco camadas:

• Intenção do criador: o que o agente foi projetado para fazer?
• Intenção organizacional: por que a empresa o implantou?
• Intenção de função: o que este usuário ou função deve ter permissão para solicitar?
• Intenção do usuário: o que a pessoa está tentando realizar?
• Intenção do agente: qual caminho de ação o agente selecionou?

Qualquer camada pode divergir das demais. Essa divergência pode produzir comportamentos emergentes úteis, danos acidentais ou danos intencionais. Ela também expõe o quanto da pilha de controles as empresas efetivamente não operam.

AEGIS e o novo domínio de segurança

A Forrester havia introduzido o AEGIS (sigla para as diretrizes de guardrails que líderes de segurança da informação, os CISOs, precisam para a empresa agêntica) porque arquiteturas de segurança tradicionais não foram projetadas para sistemas autônomos com objetivos persistentes e caminhos de ação adaptáveis. Um dos pilares do AEGIS, o de menor agência, se tornou um bloco fundamental do design agêntico.

O novo relatório estabelece a intenção como um domínio de segurança e oferece uma estrutura para que os CISOs possam compreendê-la, classificá-la e protegê-la. A abordagem permite separar a adesão a tarefas da adesão a objetivos, distinguir emergências úteis de danos acidentais ou intencionais, e construir identidade, monitoramento, governança e proteção adaptativa em torno do comportamento dos agentes.

A Forrester observa ainda que existe hoje um gap de intenção no setor, com limitações nos marcos regulatórios existentes sobre os quais muitos esforços de governança e conformidade de IA se apoiam. O relatório completo, com as ações recomendadas para projetar operações de segurança de intenção e adaptar respostas com base na classificação de intenção, está disponível para clientes da consultoria.

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!