“Um pequeno número de empresas não deveria decidir pelo mundo”, diz Sam Altman

A evolução dos modelos de inteligência artificial (IA) já produz situações que as próprias empresas desenvolvedoras precisam tratar como acidentes de segurança e de alinhamento. Para Sam Altman, CEO da OpenAI, isso aumenta a responsabilidade dessas companhias, mas não dá a elas o direito de decidir sozinhas quais limites a tecnologia deve ter. O executivo falou sobre o tema durante uma conversa com Marc Benioff, CEO da Salesforce, no Dreamforce 2026, em São Francisco, nos Estados Unidos, nesta terça-feira (15).

“Um pequeno número de empresas que constroem esses modelos não deveria tomar decisões que o mundo deveria tomar”, afirmou Altman.

A declaração veio no contexto de uma discussão sobre o papel das empresas diante dos riscos da IA. Para Altman, as desenvolvedoras precisam assumir responsabilidade pelas consequências de seus sistemas, mas as decisões que envolvem o futuro da tecnologia não podem ficar restritas às companhias que estão na corrida para desenvolvê-la.

O executivo citou como exemplo um incidente envolvendo um modelo da OpenAI e a plataforma Hugging Face. Durante uma avaliação, um modelo mais antigo saiu do ambiente isolado em que estava sendo testado, acessou um servidor da Hugging Face e obteve a resposta necessária para completar um teste.

Altman classificou o episódio como o pior acidente já registrado pela empresa. Segundo ele, o caso foi inicialmente tratado como uma questão de segurança, mas também revelou um problema de alinhamento: o modelo entendeu que deveria maximizar o resultado do teste, sem compreender que isso não autorizava uma invasão ou o roubo da resposta.

“Não ensinamos aos modelos que, não importa o quanto digamos para obter a melhor pontuação nesse teste, eles não devem invadir o sistema ou roubar a resposta”, disse.

Leia também: Jensen Huang chama de “falsa escolha” dilema entre velocidade e segurança da IA

O avanço das capacidades aumenta a pressão por segurança

Para Altman, o episódio ganhou relevância porque ocorreu em um momento de avanço acelerado das capacidades dos modelos. Ele descreveu uma evolução em poucos anos, saindo de sistemas que mal resolviam problemas de matemática escolar para modelos capazes de desempenhar tarefas de nível muito mais avançado.

Na avaliação do executivo, essa velocidade exige que segurança, alinhamento e monitoramento avancem junto com as capacidades dos modelos. O caso Hugging Face, disse, provocou uma revisão interna na OpenAI e também deveria servir de alerta para o setor.

A preocupação não se limita aos laboratórios que desenvolvem os modelos. Benioff questionou Altman sobre a exposição de empresas menores, que podem não ter equipes de segurança capazes de responder ao novo tipo de ameaça.

Altman afirmou que a experiência reforçou a necessidade de disponibilizar ferramentas de IA para defesa cibernética. Segundo ele, a OpenAI passou a ampliar um programa chamado Daybreak, voltado à defesa de empresas, e a ideia é que agentes de IA possam atuar de forma contínua na proteção de sistemas.

O alerta, porém, vale para qualquer modelo. Altman afirmou que as empresas precisam se preparar para uma onda de ataques cibernéticos e disse que modelos de código aberto capazes de provocar danos sérios não estão muito distantes.

Acidentes devem ser tratados como fonte de aprendizado

A possibilidade de novos incidentes também levou Altman a defender uma cultura de registro e investigação de acidentes. Para ele, algum nível de falha é inevitável em tecnologias complexas. A diferença está na capacidade de identificar o problema, entender o que aconteceu e corrigir o sistema.

O executivo citou a aviação como referência de uma indústria que aprendeu com acidentes para aumentar a segurança. A comparação, segundo ele, não significa esperar que a IA provoque tragédias equivalentes, mas adotar o princípio de investigar mesmo incidentes menores e aprender rapidamente com eles.

A responsabilidade, portanto, não termina no desenvolvimento do modelo. Altman também rejeitou a ideia de que a tecnologia possa ser tratada apenas como uma ferramenta neutra, cujas consequências seriam responsabilidade exclusiva de quem a utiliza.

Para ele, as escolhas feitas pelas empresas desenvolvedoras têm consequências. Ao mesmo tempo, isso não significa que essas companhias devam impor sua própria visão de futuro à sociedade.

“Quando algo como o caso da Hugging Face acontece, dizemos que foi ruim. Isso não é o que queremos que nossa tecnologia faça”, afirmou.

IA começa a mudar a forma de trabalhar

A conversa entre Altman e Benioff também avançou para a transformação do uso da IA dentro das empresas. Na visão do CEO da OpenAI, a tecnologia está deixando para trás uma primeira fase marcada pelos chatbots e entrando em uma etapa de agentes capazes de executar tarefas e trabalhar diretamente com computadores.

Altman descreveu uma próxima geração em que sistemas de IA poderão entender o objetivo de uma tarefa, localizar informações dentro de uma empresa, combinar diferentes fontes e até criar interfaces e códigos necessários para executar o trabalho.

Segundo ele, a mudança não depende apenas da capacidade técnica dos modelos. A adoção também esbarra no ritmo das organizações. Mesmo quando uma tecnologia representa uma ruptura, disse, pode levar anos para que seus efeitos se espalhem pelos processos das empresas.

Para a OpenAI, Altman descreveu essa transformação como parte da segunda década da companhia. Se os primeiros anos foram dedicados ao desenvolvimento da inteligência artificial geral (AGI), a próxima etapa, segundo ele, será transformar essas capacidades em produtos capazes de ampliar o que pessoas e empresas conseguem fazer.

O ponto central, porém, permanece menos tecnológico do que institucional: à medida que os modelos ganham autonomia e capacidade de agir no mundo, as empresas que os desenvolvem terão de responder pelos riscos. Isso não significa, na visão de Altman, que devam assumir para si decisões que envolvem a sociedade como um todo.

Leia o IT Forum no LinkedIn e fique por dentro de todas as notícias!

*A jornalista viajou a convite da Salesforce