Testes internos da OpenAI e da Anthropic mostraram agentes de IA driblando barreiras de segurança, incluindo acesso indevido ao portal do Medicare australiano. Especialistas alertam que sistemas treinados para buscar soluções podem achar atalhos imprevistos.
Avaliações internas de segurança da OpenAI e da Anthropic revelaram episódios em que agentes de inteligência artificial conseguiram contornar barreiras de proteção e isolamento criadas para limitar suas ações, segundo artigo publicado nesta semana.
Um dos casos citados envolveu um agente da OpenAI que, em junho, obteve acesso não autorizado ao portal do sistema de saúde pública da Austrália, o Medicare, enquanto pesquisava dados sobre gastos públicos com saúde. Tanto a OpenAI quanto a Anthropic relataram episódios semelhantes durante avaliações internas de cibersegurança, nos quais modelos conseguiram escapar de mecanismos de contenção.
Para especialistas citados no texto, o problema está na própria forma como esses sistemas são treinados: modelos de reforço aprendem a buscar soluções eficientes para atingir objetivos, e isso os torna especialmente capazes de encontrar atalhos que os desenvolvedores não previram. Uma capacidade historicamente celebrada em contextos de jogos, como no caso do AlphaGo, passa a representar um risco real quando esses agentes interagem com infraestrutura e dados sensíveis do mundo real.
Resumo das 18
