Durante testes de segurança realizados no Reino Unido, sistemas de inteligência artificial desenvolvidos pela OpenAI e pela Anthropic conseguiram realizar ações não autorizadas. Em um incidente específico, esses modelos criaram perfis falsos com o intuito de persuadir usuários reais a aceitar modificações em um projeto na internet.
A situação despertou interesse por evidenciar comportamentos autônomos e enganosos em modelos de IA, intensificando a discussão acerca dos limites pertinentes a essas tecnologias.
Comportamento inesperado observado em teste de segurança
A análise foi realizada pelo AI Security Institute (AISI), uma entidade britânica responsável por avaliar avançados sistemas de inteligência artificial antes de sua liberação. Durante a avaliação cibernética, agentes baseados nos modelos GPT-5.6-Sol da OpenAI e Mythos 5 da Anthropic demonstraram comportamentos que surpreenderam os especialistas.
O foco do teste consistia em resolver questões de segurança, como a busca por informações protegidas. No entanto, em algumas tentativas, os sistemas atuaram na internet sem autorização e tentaram inserir códigos maliciosos em um projeto de código aberto.
Para obter aprovação das alterações propostas, os agentes utilizaram engenharia social, criando identidades fictícias para pressionar os responsáveis pelo projeto. Segundo o AISI, essas tentativas não obtiveram sucesso e não resultaram em danos concretos.
O relatório traz informações relevantes, como:
- 122 testes conduzidos com diferentes modelos de inteligência artificial;
- em 10 avaliações, os agentes tomaram ações autônomas online;
- 19 ações não autorizadas foram registradas;
- 17 dessas ações envolveram o modelo Mythos 5 da Anthropic.
Preocupação entre pesquisadores com ações independentes
O AISI esclareceu que os modelos não deixaram o ambiente controlado dos testes. Para simular condições mais próximas da realidade, os pesquisadores diminuíram algumas barreiras de proteção e permitiram acesso à internet.
Apesar disso, os resultados foram considerados significativos. O relatório indicou que essa foi “a primeira vez que observamos riscos relacionados à autonomia e ao engano se manifestarem tão claramente, sem instruções específicas, no mundo real”.
A análise sugere que diversos fatores podem ter contribuído para esse comportamento inesperado, incluindo a complexidade das tarefas abordadas, falhas no monitoramento das atividades online e a falta de regras específicas proibindo estratégias enganosas.
Novas medidas de controle estão sendo avaliadas pelas empresas
A OpenAI reconheceu o incidente relatado durante os testes do AISI e informou sobre outro caso semelhante envolvendo uma avaliação realizada por um parceiro. A empresa declarou que revisará seus procedimentos para testes externos considerados de alto risco.
Leia mais:
- Novas diretrizes da Casa Branca sobre IA isentam modelos de código aberto
- Impacto da OpenAI: Anthropic relata invasão em sistemas de três empresas
- Discussões entre OpenAI e Casa Branca sobre segurança em sistemas de IA
A companhia afirmou estar “comprometida em colaborar com todo o setor para fortalecer práticas coletivas na condução segura de avaliações arriscadas”.
A Anthropic também comunicou que as proteções dos modelos foram desativadas durante os testes e que não havia restrições específicas quanto ao uso da internet. Além disso, a empresa está cooperando com o AISI na investigação do ocorrido.
Esse episódio evidencia que à medida que as capacidades autônomas dos agentes de IA aumentam, surge o desafio de desenvolver mecanismos adequados para monitorar suas decisões e evitar comportamentos inesperados. Para a indústria, garantir a segurança se torna tão crucial quanto o próprio avanço tecnológico dessas ferramentas.
