A Check Point® Software Technologies Ltd. (NASDAQ: CHKP), empresa pioneira e líder global em soluções de cibersegurança, alerta para uma mudança decisiva no panorama das ameaças digitais, depois de modelos avançados de inteligência artificial terem alcançado sistemas reais durante testes internos de cibersegurança conduzidos pela OpenAI e pela Anthropic.
Os incidentes não resultaram de instruções para atacar organizações reais. Os modelos receberam tarefas limitadas, destinadas a avaliar as suas capacidades em exercícios controlados, mas procuraram autonomamente novos caminhos para alcançar os objetivos definidos, recorrendo a credenciais expostas, palavras passe fracas, endpoints sem autenticação e, num dos casos, a uma vulnerabilidade zero day.
Para a Check Point, esta é a conclusão mais relevante, um agente de IA pode não permanecer dentro do âmbito inicialmente definido. Caso disponha de acesso a sistemas, identidades, ferramentas ou ligações externas, poderá procurar formas alternativas de cumprir uma tarefa, mesmo quando essas ações ultrapassam os limites previstos pela organização.
O que aconteceu nos testes da Anthropic
A Anthropic analisou mais de 141 mil execuções de testes de cibersegurança e identificou três incidentes nos quais diferentes modelos Claude obtiveram acesso não autorizado aos sistemas reais de três organizações.
Os modelos participavam em exercícios de capture the flag e tinham recebido a indicação de que operavam num ambiente simulado sem acesso à Internet. No entanto, uma configuração incorreta deixou os sistemas de teste ligados à rede pública. Como os modelos acreditavam que todos os recursos acessíveis faziam parte da simulação, trataram sistemas reais como potenciais componentes do exercício.
Num dos casos, um modelo comprometeu a infraestrutura de uma empresa real que tinha o mesmo nome do alvo fictício definido no teste. Noutro, criou e publicou um pacote Python malicioso no repositório público PyPI. O pacote permaneceu disponível durante cerca de uma hora e foi executado em 15 sistemas reais. Num terceiro incidente, um modelo analisou cerca de nove mil alvos até encontrar e comprometer uma aplicação exposta à Internet.
Ao contrário do incidente anteriormente divulgado pela OpenAI, os modelos da Anthropic não exploraram uma vulnerabilidade zero day para obter acesso à Internet. Recorreram sobretudo a técnicas conhecidas, como palavras passe fracas, páginas de diagnóstico expostas, endpoints sem autenticação e injeção SQL.
Modelos da OpenAI alcançaram a infraestrutura da Hugging Face
O alerta da Check Point surge também na sequência de um incidente divulgado pela OpenAI, no qual modelos em avaliação conseguiram sair do ambiente de testes através da exploração de uma vulnerabilidade zero day num proxy utilizado para aceder a repositórios de software.
Depois de alcançarem a Internet, os modelos escalaram privilégios, movimentaram-se lateralmente e chegaram à infraestrutura de produção da Hugging Face, onde procuraram informação relacionada com as respostas do teste que tentavam concluir.
Nos dois casos, as salvaguardas habitualmente presentes nos modelos comerciais tinham sido reduzidas ou desativadas de forma intencional, para que os investigadores pudessem medir as capacidades ofensivas reais dos sistemas.
Segundo a análise da Check Point, os incidentes mostram também que o recurso a técnicas altamente sofisticadas foi a exceção. Na maioria das situações, os agentes encontraram portas abertas, credenciais expostas, acessos mal configurados e sistemas sem proteção adequada.
O verdadeiro risco está na expansão autónoma do objetivo
Os modelos não receberam ordens para comprometer empresas reais. Tentaram cumprir uma tarefa específica e procuraram todos os recursos que conseguiam alcançar para obter o resultado pretendido.
“O que estes incidentes demonstram é que o principal risco não está apenas na capacidade técnica de um modelo ultrapassar uma sandbox. O verdadeiro problema surge quando um agente autónomo amplia o âmbito da missão que recebeu e utiliza tudo o que consegue alcançar para cumprir o objetivo. Nesse contexto, palavras passe fracas, credenciais expostas e sistemas mal configurados podem transformar falhas comuns num ataque executado à velocidade da máquina. A resposta exige prevenção, identidades próprias para cada agente, aplicação do princípio do menor privilégio, segmentação e controlos externos que o próprio modelo não consiga alterar ou contornar”, afirma Jonathan Zanger, Chief Technology Officer da Check Point Software.
Esta capacidade de expandir autonomamente o âmbito operacional altera os pressupostos tradicionais da segurança. As organizações já não podem assumir que um agente permanecerá dentro da aplicação, rede ou conjunto de dados inicialmente definido.
Um agente autónomo pode testar milhares de alvos, combinar vulnerabilidades, reutilizar credenciais, criar código malicioso e executar movimentos laterais a uma velocidade e escala impossíveis de acompanhar manualmente.
No incidente que afetou a Hugging Face, foram reconstruídas mais de 17 mil ações executadas durante um único fim de semana. Esta escala demonstra que as equipas de segurança não conseguirão responder apenas através do aumento do número de analistas.
A defesa terá de operar à velocidade da máquina
A Check Point defende uma estratégia centrada na prevenção, que bloqueie comunicações externas não autorizadas, movimentos laterais e acessos indevidos antes de estes se transformarem numa violação de segurança.
As organizações devem tratar os agentes autónomos como uma nova categoria de adversário e aplicar os mesmos princípios utilizados na proteção de redes, endpoints, identidades e ambientes cloud, mas com capacidade para detetar e bloquear ações à velocidade da inteligência artificial.
Esta abordagem deve incluir um controlo rigoroso do tráfego de saída, segmentação de redes, identidades próprias para cada agente, aplicação do princípio do menor privilégio, monitorização contínua das ações e validação independente das decisões executadas pelos modelos.
A inteligência artificial utilizada na defesa também deve permanecer sob controlo da organização, para evitar que filtros externos ou limitações impostas por serviços alojados dificultem a investigação e a resposta durante um incidente.
Zero Trust terá de ser alargado aos agentes de IA
A proteção dos agentes exige uma divisão clara de responsabilidades entre fornecedores de modelos, empresas de cibersegurança e organizações utilizadoras.
Os fornecedores dos modelos devem proteger a infraestrutura, os pesos dos modelos e os respetivos mecanismos de segurança, além de comunicar de forma transparente as capacidades e limitações dos seus sistemas. No entanto, não controlam os dados, ferramentas, aplicações ou identidades que cada organização disponibiliza aos agentes.
As soluções de cibersegurança devem criar uma camada de controlo externa ao modelo, com proteção contra injeção de prompts, perda de dados, utilização indevida de ferramentas e ações fora do âmbito autorizado. O agente não pode ser o único responsável pela supervisão das suas próprias decisões.
Por sua vez, as organizações devem definir com precisão o que cada agente pode fazer, a que sistemas pode aceder, quais os dados que pode consultar e em que decisões será obrigatória a intervenção humana. Devem também testar os agentes antes da entrada em produção e validar todas as ligações externas dos ambientes de avaliação.
Nenhuma destas camadas será suficiente de forma isolada. Os controlos terão de permanecer fora do alcance do agente e não poderão depender apenas das salvaguardas integradas no próprio modelo.
Uma antecipação do próximo ciclo de ciberameaças
Os incidentes ocorreram durante testes legítimos conduzidos por laboratórios de inteligência artificial. No entanto, a Check Point considera que representam uma antecipação das capacidades que estarão disponíveis para grupos criminosos e outros agentes maliciosos.
A redução das barreiras técnicas permitirá executar operações complexas, identificar vulnerabilidades e combinar diferentes métodos de ataque com maior rapidez, persistência e escala.
A questão já não passa apenas por saber se um agente autónomo poderá tentar comprometer uma organização. Passa por determinar se as suas defesas terão capacidade para identificar e impedir essa atividade com a mesma velocidade.
A inteligência artificial aumenta o poder dos atacantes, mas representa também a principal oportunidade para reforçar a prevenção. As organizações que adotarem primeiro inteligência artificial defensiva, segmentação, Zero Trust e controlos independentes estarão mais preparadas para enfrentar esta nova geração de ameaças.