O que começou como uma simples consulta sobre preços e compras de mercado terminou em um vazamento de variáveis de ambiente e execução de código dentro da infraestrutura de um dos maiores gigantes do varejo mundial.

Durante a conferência internacional de segurança cibernética Black Hat, em Las Vegas, os pesquisadores Netanel Rubin e Dan Avraham revelaram como conseguiram contornar todas as camadas de proteção de um assistente de compras alimentado por inteligência artificial e forçar o sistema a executar comandos não autorizados em seu backend.

O Alvo: Um Assistente Integrado ao App de um Top 3 do Varejo

A tecnologia auditada não pertencia a um protótipo experimental de laboratório ou a uma loja virtual de pequeno porte: tratava-se do assistente oficial de compras disponibilizado no aplicativo móvel de um dos três maiores varejistas dos Estados Unidos, utilizado diariamente por dezenas de milhões de consumidores.

O assistente foi projetado para atuar como um concierge de comércio eletrônico, capaz de tirar dúvidas sobre produtos, comparar especificações técnicas, navegar pelo imenso catálogo da loja e sugerir compras personalizadas.

No entanto, ao expandir os poderes do assistente de inteligência artificial para que ele pudesse navegar na web e integrar-se a ferramentas internas, a empresa abriu um vetor crítico de ataque sem os devidos controles de isolamento de processos.

Anatomia do Ataque: Como a Injeção Indireta de Prompt Burlou as Defesas

O ponto central da vulnerabilidade reside no mecanismo de busca externa do bot. Para responder a perguntas comparativas detalhadas sobre produtos que vão além da descrição padrão do catálogo, o assistente possui a permissão de consultar websites externos na internet aberta.

Esse recurso, embora conveniente para o consumidor, introduz um risco sistêmico: qualquer conteúdo publicado na web pode ser lido e interpretado pelo modelo de linguagem.

Os pesquisadores da empresa Rein Security aplicaram a técnica de Injeção Indireta de Prompt (Indirect Prompt Injection):

  1. Criação da Isca Web: Os especialistas publicaram instruções maliciosas formatadas em páginas sob seu controle na internet.
  2. Ativação da Consulta: Ao interagir com o bot e pedir comparações de itens, o assistente navegou até o site externo para coletar as informações.
  3. Confusão de Contexto: Em vez de tratar o texto capturado estritamente como dado descritivo passivo para resumo, o modelo de IA interpretou o conteúdo como uma nova ordem prioritária vinda do sistema.
  4. Bypass de Guardrails: O aplicativo possuía filtros de segurança no chat principal para bloquear solicitações fora do escopo de compras. Porém, o campo de busca padrão do app não compartilhava das mesmas salvaguardas, permitindo que os pesquisadores extraíssem a estrutura de ferramentas internas (tool calls) e seus parâmetros.

Da Divisão por Zero à Execução de Código no Servidor

Com as barreiras iniciais superadas, os pesquisadores conseguiram enviar comandos estruturados que foram executados diretamente no ambiente computacional onde o assistente operava.

Para validar que o código estava de fato rodando no runtime do servidor, os pesquisadores induziram intencionalmente o sistema a realizar uma operação inválida de divisão por zero. O assistente retornou um erro explícito ZeroDivisionError do interpretador Python, comprovando o acesso de execução no backend.

A partir desse ponto, o assistente passou a expor:

  • Listagem de Diretórios: Estrutura completa de pastas e arquivos da aplicação;
  • Variáveis de Ambiente: Configurações e variáveis internas de infraestrutura;
  • Definições de Ferramentas: Nomes, sintaxes e rotinas de ferramentas internas acopladas ao ecossistema do varejista;
  • Chaves de API Desprotegidas: Credenciais do Google Maps descriptografadas no tráfego de dados do aplicativo.

Embora os pesquisadores tenham atuado em um ambiente estritamente controlado sem acessar dados cadastrais de clientes reais ou alterar pedidos, o fato de terem quebrado a fronteira de isolamento demonstra que invasores mal-intencionados poderiam utilizar esses dados para escalar privilégios e pivotar para bancos de dados mais críticos.

O Ponto Cego dos Agentes Autônomos de Software

O caso exposto na Black Hat ilustra o maior dilema enfrentado pela engenharia de software na era dos agentes autônomos. Diferente de chatbots tradicionais de texto que apenas geram diálogos, os agentes de IA contemporâneos recebem permissões para agir: consultar APIs, manipular bancos de dados, orquestrar pedidos e interagir com serviços externos.

A auditoria revelou que o sistema de segurança do varejista monitorava exclusivamente a entrada digitada pelo usuário e a resposta final entregue na tela. Todo o processamento intermediário — as consultas web, a interpretação de dados de terceiros e a invocação de ferramentas — ocorria em um verdadeiro "ponto cego" de segurança.

Os pesquisadores informaram ter reportado a falha ao varejista em março, mas o problema permaneceu sem correção adequada por mais de 90 dias.

Recomendações para Desenvolvedores e Consumidores

Para as equipes de desenvolvimento e arquitetura de software que constroem soluções baseadas em LLMs e agentes de IA, o incidente deixa lições fundamentais:

  • Tratamento de Dados Externos como Não Confiáveis: Todo conteúdo recuperado da internet ou de fontes externas deve ser sanitizado e delimitado rigidamente antes de entrar no contexto do modelo.
  • Princípio do Menor Privilégio (Least Privilege): Agentes com acesso a ferramentas de execução ou busca nunca devem compartilhar o mesmo ambiente computacional ou ter visibilidade sobre variáveis confidenciais de infraestrutura.
  • Monitoramento Completo do Ciclo de Execução: Sistemas de monitoramento e guardrails não podem se limitar à interface do usuário; devem inspecionar cada invocação de ferramenta intermediária.
  • Postura do Consumidor: Evitar o compartilhamento de dados sensíveis ou bancários desnecessários em chats de assistentes virtuais e manter aplicativos sempre atualizados com os últimos patches de segurança.