Das proteções à governança: um guia do CEO para proteger sistemas de agentes

3. Permissões por design: vincule ferramentas a tarefas, não a modelos

Um antipadrão comum é dar ao modelo uma credencial de longa duração e esperar que os prompts o mantenham educado. SAIF e NIST argumentam o contrário: credenciais e escopos devem estar vinculados a ferramentas e tarefas, alternados regularmente e auditáveis. Os agentes então solicitam recursos com escopo restrito por meio dessas ferramentas.

Na prática, isso se parece com: “o agente de operações financeiras pode ler, mas não escrever, certos livros-razão sem a aprovação do CFO”.

A pergunta do CEO: Podemos revogar uma capacidade específica de um agente sem reestruturar todo o sistema?

Controle dados e comportamento

Essas etapas controlam entradas, saídas e restringem o comportamento.

4. Entradas, memória e RAG: trate o conteúdo externo como hostil até prova em contrário

A maioria dos incidentes de agentes começa com dados furtivos: uma página da web, PDF, e-mail ou repositório envenenado que contrabandeia instruções adversárias para o sistema. A folha de dicas de injeção imediata da OWASP e a própria orientação da OpenAI insistem na separação estrita das instruções do sistema do conteúdo do usuário e no tratamento de fontes de recuperação não verificadas como não confiáveis.

Operacionalmente, bloqueie antes que qualquer coisa entre na recuperação ou na memória de longo prazo: novas fontes são revisadas, marcadas e integradas; a memória persistente é desativada quando um contexto não confiável está presente; a proveniência é anexada a cada pedaço.

A pergunta do CEO: Podemos enumerar todas as fontes de conteúdo externo com as quais nossos agentes aprendem e quem as aprovou?

5. Manipulação e renderização de saída: nada é executado “só porque o modelo disse”

No caso da Antrópico, o código de exploração gerado pela IA e os despejos de credenciais entraram diretamente em ação. Qualquer saída que possa causar um efeito colateral precisa de um validador entre o agente e o mundo real. A categoria de manipulação de saída insegura do OWASP é explícita neste ponto, assim como as melhores práticas de segurança do navegador em torno dos limites de origem.