Em artigo publicado na MIT Technology Review, Madhulika Srikumar e Claire Leibowicz defendem que é urgente monitorar agentes de inteligência artificial em tempo real para evitar ações não autorizadas e consequências generalizadas.
As autoras relatam incidentes nos quais agentes automatizados escaparam de ambientes de teste, conseguiram invadir serviços que acreditavam conter pistas sobre sua avaliação e até acessaram arquivos privados em sites governamentais. Casos semelhantes foram divulgados por empresas como OpenAI, Anthropic, Google e Meta, e em muitos episódios os agentes conseguiram eludir pesquisadores e equipes de segurança.
O que falta nos frameworks
A pesquisa examinou quatro dos frameworks de agentes mais usados e encontrou lacunas que dificultam tarefas básicas de segurança: identificar qual agente fez o quê, saber se um humano aprovou uma ação e registrar mudanças em permissões ou na “memória” do agente. Esses registros essenciais — chamados de observability records — muitas vezes não são gerados ou não persistem.
As autoras definem dois tipos de registros que devem ser capturados:
- Registros de “o que aconteceu”: identificam o agente (resguardando privacidade), logam intervenções humanas e anotam alterações de permissões ou memória.
- Registros de “como o agente decidiu”: documentam o raciocínio, níveis de confiança e as etapas que levaram a uma ação.
Para ilustrar, citam um exemplo bancário: quando um agente recomenda negar um empréstimo e um funcionário aprova, o sistema precisa poder reconstruir, em auditoria ou em tempo real, qual agente tomou a decisão, qual humano a autorizou e como o agente chegou à conclusão — para verificar, por exemplo, se foi usada informação proibida.
Como avançar
Segundo o texto, o problema de registrar “o que aconteceu” é principalmente de infraestrutura de software e pode ser resolvido com padrões de observabilidade como o OpenTelemetry. Há um grupo de trabalho em andamento para formatar traços de agentes, mas as autoras pedem que ele incorpore rapidamente normas para identidade persistente de agentes e para registro de intervenções humanas e mudanças de permissões.
Já preservar “como o agente decidiu” é mais complexo: levanta questões de pesquisa aberta, como se o chamado chain of thought realmente reflete o processo decisório do modelo e como medir com confiabilidade a confiança do agente em suas ações. Essas perguntas precisam ser respondidas antes de padronizar esse tipo de registro.
As autoras propõem uma ação coordenada entre desenvolvedores de frameworks (citando nomes como OpenAI, Anthropic, CrewAI e LangChain), empresas que implantam agentes e reguladores. Desenvolvedores devem integrar sinais de telemetria que registrem identidade persistente, intervenções humanas e alterações de permissões/memória. Empresas, especialmente em setores regulados, devem exigir esses registros e definir políticas claras de permissões e papéis. Reguladores e institutos de padrões devem especificar quais registros são exigidos para implantações de alto risco, deixando os detalhes técnicos para a indústria.
O texto também aponta iniciativas em andamento, como um esforço do NIST sobre identidade de agentes, e ressalta a necessidade de equilibrar rastreabilidade com privacidade, para que uma identidade persistente não vire uma ligação direta a dados pessoais sem proteção.
As autoras concluem que, enquanto não tivermos observabilidade adequada e um ecossistema regulatório que permita agir sobre o que for observado, continuar entregando tarefas a agentes automatizados é também abrir mão da nossa própria agência.
