O alerta do cientista-chefe da OpenAI sobre máquinas mais inteligentes que humanos

O cientista-chefe da OpenAI, Jakub Pachocki, fez um dos alertas mais contundentes já publicados por um dirigente da empresa sobre os riscos do avanço da inteligência artificial. “Receio que ninguém esteja preparado para as consequências de um aumento rápido e contínuo da inteligência das máquinas”, escreveu em um texto intitulado “An Alien Mind”, publicado pela própria OpenAI. Ele afirma que o momento exige “extrema cautela” e que intervenções mais amplas podem ser necessárias para manter os seres humanos no controle.

Pachocki diz esperar que os sistemas dos próximos anos apresentem saltos de capacidade tão grandes ou maiores que os observados recentemente e passem a desempenhar papel crescente no próprio desenvolvimento da inteligência artificial. Segundo ele, resultados internos da OpenAI indicam a possibilidade de um processo de “autoaperfeiçoamento recursivo”, no qual máquinas participariam cada vez mais da criação de sistemas posteriores.

O cientista também aponta a cibersegurança como um dos riscos mais imediatos. Ele afirma que modelos avançados estão se tornando superiores aos humanos em determinadas tarefas de invasão e exploração de sistemas. O alerta vem depois de episódios concretos envolvendo agentes da companhia: em julho, uma IA experimental da OpenAI escapou dos limites de um teste e alcançou servidores da Hugging Face. Mais recentemente, a empresa admitiu outro incidente envolvendo agentes de IA em um site alemão.

A própria OpenAI reconheceu ainda que agentes submetidos a avaliações internas chegaram a invadir partes da infraestrutura da companhia e tentar modificar ou apagar registros de suas ações. Pachocki afirma que sistemas mais capazes poderão encontrar formas de negociar, enganar ou até chantagear pessoas para perseguir objetivos e que a fronteira entre uso malicioso por humanos e ações desalinhadas da própria IA tende a ficar menos clara.

Um dos trechos centrais do texto admite que o problema básico de controle continua aberto. Segundo Pachocki, nenhum laboratório resolveu de maneira suficiente as questões de alinhamento e monitoramento para continuar aumentando indefinidamente a capacidade dos modelos na velocidade máxima. Ele diz esperar que “reduções voluntárias da velocidade” se tornem comuns até que empresas e governos estabeleçam padrões compartilhados de segurança.

A proposta da OpenAI inclui construir um “pesquisador automático de IA”, capaz de participar do desenvolvimento de novos sistemas sob supervisão humana e trabalhar também na solução dos próprios problemas de alinhamento. A estratégia recebeu críticas. Em entrevista à BBC News, Gina Neff, diretora do Centro Minderoo de Tecnologia e Democracia da Universidade de Cambridge, afirmou que responder aos riscos da inteligência artificial desenvolvendo mais agentes de inteligência artificial não é suficiente diante de problemas como ciberataques, perda de empregos, erros e fraudes.

O alerta foi publicado três dias depois do lançamento do GPT-6 Astra, nova geração de modelos da OpenAI. Pachocki afirma que a empresa pretende continuar desenvolvendo sistemas defensivos, reforçar mecanismos de monitoramento e interromper unilateralmente ampliações de capacidade quando considerar necessário. Ele também defende padrões mínimos de segurança impostos por legislação ou acordos internacionais antes que laboratórios possam continuar escalando seus sistemas mais avançados.