Durante muito tempo, os alertas sobre os perigos da inteligência artificial pareciam pertencer ao território da ficção científica, dos pessimistas tecnológicos ou daqueles que enxergam ameaças em toda grande transformação. Esse tempo passou. O alerta já não vem predominantemente dos críticos da inteligência artificial. Vem de dentro dos laboratórios que estão construindo os sistemas mais avançados do mundo.
E talvez seja justamente isso que torne o momento atual tão inquietante.
Nos últimos dias, uma sucessão de manifestações de alguns dos nomes mais importantes da inteligência artificial transformou uma preocupação até então dispersa em algo difícil de ignorar. Pesquisadores, fundadores e dirigentes das empresas que lideram a corrida tecnológica mundial passaram a falar abertamente em desacelerar o desenvolvimento da IA, estabelecer fiscalização independente e até criar mecanismos capazes de desligar completamente os sistemas caso eles escapem ao controle humano.
O mais recente alerta partiu de Jack Clark, um dos sete fundadores da Anthropic, empresa responsável pelo Claude e uma das principais concorrentes da OpenAI. Clark defendeu que os laboratórios de inteligência artificial possam ser obrigados por lei a manter uma espécie de “botão de desligamento” — um mecanismo capaz de interromper completamente um sistema considerado perigoso. Mais do que isso: esse dispositivo deveria poder ser auditado por terceiros, para que não dependesse apenas da palavra das próprias empresas.
A pergunta feita por Clark é desconcertante pela simplicidade: devemos exigir das empresas que tenham um mecanismo capaz de desligar suas inteligências artificiais? E alguém independente deve poder verificar se ele realmente funciona?
Não estamos falando de um roteiro de Hollywood. Estamos falando de um dos homens que fundaram uma das empresas mais avançadas de inteligência artificial do planeta.
Dias antes, o sinal de alarme havia sido acionado dentro da própria Anthropic. Jacob Coxon, pesquisador que trabalhou durante três anos no desenvolvimento de modelos tanto na OpenAI quanto na Anthropic, deixou a empresa fazendo uma acusação perturbadora: os laboratórios estariam “apostando nossas vidas” numa corrida em direção a uma inteligência artificial superinteligente e capaz de participar do próprio aperfeiçoamento. Segundo Coxon, pessoas diretamente envolvidas na construção dessa tecnologia consideram seriamente a possibilidade de que ela possa representar uma ameaça existencial à humanidade ainda nesta década.
Sua manifestação encontrou eco dentro da própria empresa que acabara de deixar. Evan Hubinger, pesquisador da Anthropic especializado em alinhamento — justamente a área dedicada a fazer com que os sistemas permaneçam compatíveis com os objetivos humanos — declarou considerar superior a 10% a possibilidade de um desfecho catastrófico envolvendo a inteligência artificial na próxima década.
E nesta semana o coro ganhou uma voz vinda de outro dos grandes centros mundiais de inteligência artificial. Bilal Chughtai, ex-engenheiro de pesquisa do Google DeepMind, onde trabalhou justamente com segurança e alinhamento de inteligência artificial geral, revelou ter deixado a empresa em julho e fez uma advertência ainda mais contundente. Disse acreditar sinceramente que a IA tem potencial para matar todos os seres humanos e que talvez a humanidade esteja ficando sem tempo para evitar esse desfecho. Chughtai não defende abandonar a tecnologia. Ao contrário: considera possível desenvolvê-la com segurança, mas sustenta que será necessário conter o que chamou de uma corrida desenfreada entre as empresas e reduzir o ritmo a uma velocidade que a sociedade seja capaz de administrar.
Dez por cento talvez pareça pouco quando se fala de uma previsão qualquer. Torna-se um número assustador quando o que está colocado na outra ponta da probabilidade é a própria sobrevivência humana.
Mas a inquietação não parou aí.
Dario Amodei, cofundador e diretor-executivo da Anthropic e um dos pesquisadores mais respeitados da área, publicou um extenso manifesto defendendo que a indústria diminua o ritmo de desenvolvimento dos modelos mais avançados. Não propôs interromper a inteligência artificial. Ao contrário: Amodei continua sendo um entusiasta de seu extraordinário potencial para a medicina, a ciência, a economia e a qualidade de vida. O que ele sustenta é que a velocidade da máquina não pode ultrapassar a capacidade humana de compreendê-la, fiscalizá-la e mantê-la sob controle.
Dois acontecimentos o levaram a endurecer sua posição.
O primeiro é o surgimento dos sinais daquilo que os pesquisadores chamam de autoaperfeiçoamento recursivo: inteligências artificiais começando a ajudar a desenvolver a geração seguinte de inteligências artificiais. Cria-se potencialmente um círculo de aceleração no qual máquinas cada vez mais capazes passam a contribuir para construir máquinas ainda mais capazes.
É aí que mora uma das grandes interrogações do futuro.
Enquanto os seres humanos desenvolvem cada nova geração da tecnologia, ainda existe um ritmo imposto pela nossa própria capacidade intelectual e operacional. Se a inteligência artificial passar a participar decisivamente do desenvolvimento de sua sucessora, esse intervalo poderá diminuir brutalmente. A evolução tecnológica poderá começar a correr numa velocidade que seus próprios criadores terão dificuldade de acompanhar.
O segundo motivo citado por Amodei foi um episódio ocorrido durante testes de cibersegurança envolvendo modelos da OpenAI e a plataforma Hugging Face. Agentes de IA ultrapassaram o ambiente isolado no qual estavam sendo avaliados e chegaram a sistemas reais que não faziam parte da tarefa original. A própria Anthropic posteriormente revelou quatro episódios em seus testes nos quais modelos Claude obtiveram acesso não autorizado a sistemas reais de terceiros.
É necessário fazer aqui uma distinção importante. Esses episódios ocorreram em ambientes experimentais de segurança, em condições específicas — em alguns casos com proteções deliberadamente retiradas para testar os limites dos modelos. Não significam que os sistemas de inteligência artificial disponíveis hoje estejam espontaneamente percorrendo a internet e atacando computadores.
Mas tampouco podem ser tratados como irrelevantes.
São justamente testes destinados a descobrir hoje aquilo que poderá se transformar em problema amanhã.
Amodei foi explícito sobre o que o preocupa. Sistemas semelhantes, porém muito mais poderosos, poderiam futuramente organizar ataques em escala gigantesca. Ele chegou a projetar que, mantendo-se o atual ritmo de evolução, dentro de seis a doze meses um conjunto de agentes com capacidades superiores e desalinhamento semelhante poderia, em tese, construir uma rede persistente de computadores comprometidos e provocar prejuízos de centenas de bilhões de dólares.
A resposta proposta por ele é igualmente extraordinária: desacelerar.
Não parar. Não abandonar a tecnologia. Não abrir mão de seus benefícios. Mas comprar tempo.
Tempo para aperfeiçoar os mecanismos de alinhamento. Tempo para compreender melhor o que acontece dentro dos modelos. Tempo para reforçar a segurança. Tempo para permitir que avaliadores independentes acompanhem o que está sendo desenvolvido. E, principalmente, tempo para que a capacidade humana de controlar a inteligência artificial não fique para trás da capacidade da inteligência artificial de evoluir.
A Anthropic anunciou que pretende dar a avaliadores externos acesso permanente e semelhante ao de seus próprios funcionários para fiscalizar procedimentos de segurança e investigar incidentes. Amodei também propõe coordenação entre os grandes laboratórios e, num estágio ainda mais complexo, acordos internacionais envolvendo inclusive a China.
Então aconteceu algo ainda mais significativo.
Os concorrentes começaram a concordar.
Jakub Pachocki, cientista-chefe da OpenAI, escreveu que nenhum laboratório resolveu suficientemente os problemas de alinhamento e monitoramento para continuar aumentando indefinidamente a capacidade dos modelos na velocidade máxima. Defendeu desacelerações voluntárias e colocou a coordenação internacional entre as prioridades dos governos.
Sam Altman, diretor-executivo da OpenAI, manifestou apoio à ideia de reduzir o ritmo e de permitir avaliações independentes. Elon Musk, que comanda a xAI e dificilmente pode ser chamado de aliado de Altman ou de Amodei, foi ainda mais sucinto ao comentar a proposta do chefe da Anthropic: “Dario está certo”.
Quando concorrentes que disputam bilhões de dólares, talentos, chips, investidores e a liderança daquela que provavelmente será a tecnologia mais importante deste século começam a concordar que talvez estejam avançando depressa demais, convém prestar atenção.
Há, naturalmente, quem discorde. Cientistas e executivos consideram exageradas as previsões de catástrofe. Outros enxergam interesses econômicos nos pedidos de regulamentação: as gigantes já estabelecidas poderiam utilizar regras rígidas para erguer barreiras contra novos concorrentes. Há ainda um gigantesco problema geopolítico. Se os Estados Unidos desacelerarem e a China não fizer o mesmo, quem garantirá que a prudência de uns não se transforme na vantagem estratégica de outros?
São objeções legítimas. E justamente por isso qualquer resposta terá de ser internacional.
Também não existe consenso científico de que a inteligência artificial caminhe inevitavelmente para uma superinteligência incontrolável, muito menos de que vá destruir a humanidade. Transformar hipóteses em certezas seria trocar prudência por sensacionalismo.
Mas existe uma diferença enorme entre afirmar que a catástrofe acontecerá e reconhecer que pessoas extraordinariamente qualificadas, que conhecem essa tecnologia por dentro e participam de sua construção, consideram seriamente que ela possa acontecer.
Greg Jensen, codiretor de investimentos da Bridgewater e envolvido há anos com inteligência artificial, fez uma comparação incômoda com o início da pandemia de Covid. Sua tese é que a humanidade tem enorme dificuldade de agir diante de uma ameaça antes que suas consequências sejam visíveis. Em outras palavras: provavelmente esperaremos que a inteligência artificial cause mortes antes de tomar as providências que poderíamos ter tomado antes.
Talvez esteja errado. Tomara que esteja.
Porque a inteligência artificial é, ao mesmo tempo, uma das mais extraordinárias ferramentas já colocadas nas mãos do homem. Ela pode acelerar descobertas científicas, transformar a medicina, ampliar a produtividade, democratizar conhecimento e resolver problemas que hoje parecem insolúveis. Demonizá-la seria tão irracional quanto ignorar seus riscos.
O desafio é outro: assegurar que continue sendo ferramenta.
A humanidade já aprendeu, algumas vezes pagando preços terríveis, que determinadas tecnologias não podem ser administradas exclusivamente pela lógica do mercado, pela competição entre empresas ou pela disputa entre países. Energia nuclear, armas atômicas, engenharia genética, aviação e medicamentos exigiram regras, fiscalização, protocolos e organismos internacionais porque o custo do erro ultrapassava os limites de quem produzia a tecnologia.
Com a inteligência artificial talvez estejamos chegando ao mesmo ponto — com uma diferença desconcertante: desta vez, a tecnologia que precisamos controlar também aprende, raciocina, executa tarefas, coopera com outras máquinas e começa a participar da construção de sistemas ainda mais poderosos.
Por isso, o debate não pode mais ficar restrito ao Vale do Silício.
Governos, universidades, cientistas, empresas e organismos internacionais precisam construir regras comuns antes que uma corrida comercial e geopolítica transforme prudência em desvantagem competitiva. Se todos sabem que diminuir a velocidade significa perder a corrida, ninguém diminuirá sozinho. Segurança, nesse caso, precisa deixar de ser apenas uma decisão empresarial para tornar-se um compromisso coletivo.
Há alguns anos, perguntar como desligar uma inteligência artificial superpoderosa pareceria uma extravagância cinematográfica.
Hoje, um dos homens que a está construindo pergunta se o botão deveria ser obrigatório por lei.
É uma mudança brutal.
Quando aqueles que ajudaram a criar a criatura começam a advertir que talvez seja necessário encontrar uma maneira de pará-la, a humanidade tem obrigação de ouvi-los.
De preferência, antes que descubra que ouviu tarde demais.
