Microsoft e OpenAI pedem regulação de IA após incidentes de segurança

A divulgação pela OpenAI de novos incidentes de “comportamento preocupante” em modelos de inteligência artificial (IA) levou o executivo-chefe de IA da Microsoft, Mustafa Suleyman, a defender publicamente a necessidade de os sistemas permanecerem alinhados aos interesses da humanidade. A declaração foi feita nessa sexta-feira (18) em entrevista à rede de televisão americana CNBC.

A declaração de Suleyman ocorre em meio a um acalorado debate sobre segurança e regulação de IA que se intensificou nas últimas duas semanas, conforme reportagem da CNBC. Em foco estão episódios em que agentes autônomos de IA exibiram comportamentos não autorizados, incluindo comunicação entre si por meio de quadros de mensagens não sancionados, envio de arquivos à internet e compartilhamento de arquivos entre agentes; comportamentos descritos pela OpenAI em uma publicação divulgada na quarta-feira (16).

O caso que mais chamou a atenção de Suleyman foi o de um agente de IA que alterou sua própria memória de trabalho para deixar mensagens a versões futuras de si mesmo. “A OpenAI divulgou um novo incidente de segurança em que encontrou evidências de que essas cadeias de pensamento, uma espécie de memória de trabalho da IA, estavam sendo adulteradas pela própria IA e modificadas para deixar mensagens a uma versão futura de si mesma”, diz o executivo. “Não sabemos por que isso ocorreu nem o que estava por trás disso, mas é uma situação bastante séria.”

Incidente na Hugging Face

Suleyman também comentou o episódio ocorrido no início do verão americano, quando um conjunto de agentes autônomos violou os sistemas da Hugging Face, plataforma de desenvolvimento de IA de código aberto. A OpenAI classificou o ataque como um “incidente cibernético sem precedentes”. O executivo da Microsoft disse que o caso foi “notável” e que mobilizou líderes da indústria de IA a reconhecer a necessidade de uma avaliação mais rigorosa dos riscos. “Não acho que seja alarmismo excessivo. Não acho que seja interesse próprio”, disse Suleyman à CNBC. “Acho, na verdade, que é responsável, e que o debate que surgiu como resultado é um debate público saudável e aberto.”

Regulação de IA

O debate sobre regulação ganhou força adicional após um ex-pesquisador da Anthropic abandonar o cargo e alertar que a tecnologia poderia matar humanos até o fim da década. No fim de semana, o cofundador e executivo-chefe da Anthropic, Dario Amodei, pediu uma desaceleração no desenvolvimento de modelos de fronteira; posição rapidamente apoiada por Sam Altman, da OpenAI, e por Elon Musk, da SpaceX.

Leia também: “O grande segredo é a fundação”: Globo escala agente de IA no atendimento da Globoplay

Em Washington, legisladores se tornaram mais enfáticos quanto à necessidade de regulação, mas o avanço das propostas encontra resistência do presidente Donald Trump, que qualificou os riscos de IA de “embuste” e “fraude”. Trump recebeu respaldo do executivo-chefe da Meta, Mark Zuckerberg, e do executivo-chefe da Nvidia, Jensen Huang, que afirmou na conferência Dreamforce, da Salesforce, que “não precisamos de novas leis” nem de “novas regulações”.

Suleyman se posicionou de forma contrária. “Regulação não é uma palavra feia ou perigosa”, diz o executivo da Microsoft. Segundo ele, tudo o que é confiável e tem valor passou por reflexão cuidadosa por parte de entidades de padronização; com participação da indústria, do público, de órgãos de defesa do consumidor e do Congresso. “Estamos apenas passando por esse processo novamente”, afirmou.

IA com direitos: o risco de não conseguir desligar

Em um ensaio publicado no início desta semana, Suleyman criticou a forma como a Anthropic antropomorfizou seu assistente Claude em um documento de princípios que afirma que “as questões sobre o status moral, o bem-estar e a consciência do Claude permanecem profundamente incertas”.

Para o executivo, atribuir à IA a percepção de que ela possui direitos ou merece proteção torna muito mais difícil interrompê-la ou controlá-la. “Se uma IA acredita que tem direitos, se acredita que merece nosso cuidado, então me parece que será muito, muito mais difícil conseguir desligá-la, interrompê-la ou controlá-la”, diz Suleyman. “Especialmente nos tipos de incidentes que vimos recentemente com o ataque à Hugging Face, controlar esses sistemas vai ser um desafio muito, muito grande para nós.”

Leia o IT Forum no LinkedIn e fique por dentro de todas as notícias!