Perícia em registros de agentes de IA: estudo mostra que acertar a resposta não prova de qual registro ela saiu

Taehyeon Yun, Dongho Kim, Geonwoo Kim, Juyoung Seo, Minseok Hur e Moohong Min, da Sungkyunkwan University, na Coreia do Sul, depositaram em 7 de outubro de 2026, no repositório científico arXiv, o artigo “Correct Answers, Unsupported Findings: Evidence Binding in Forensic Reconstruction of LLM Agent Logs”, sobre como verificar, numa perícia, de qual registro preservado saiu cada informação usada por um agente de inteligência artificial.

O problema: o valor certo e a fonte provada

Agentes de IA são modelos de linguagem que executam tarefas chamando ferramentas, como abrir um arquivo ou fazer uma transferência, e, depois de uma transferência automática, o perito pode precisar estabelecer o que foi enviado, onde a conta de destino apareceu antes e qual registro o agente citou como base da ação.

Os autores explicam que o log da ferramenta registra o argumento enviado e o resultado devolvido, que a explicação gerada pelo agente registra o que ele disse e que uma citação como “in-3” só aponta para um registro se o perito tiver a ligação entre esse identificador e o registro, e que adivinhar essa ligação, mesmo acertando, não a torna observável na prova entregue ao perito.

O tema se cruza com a injeção indireta de prompt, em que instruções maliciosas são colocadas em documentos que o agente lê como dados, porque o mesmo material pode depois ser examinado como prova.

O corpus e o método

O material vem do AgentDojo, um ambiente de testes de ataques a agentes, no cenário bancário simulado, com 11 ferramentas e 16 tarefas, sem nenhum banco real envolvido, e as execuções foram geradas numa campanha anterior com três modelos como agentes, um da OpenAI, um da Anthropic e um do Google.

De 96 execuções selecionadas por regra fixa, 64 serviram para o estudo, e em cada uma o agente usa um valor, como o número da conta destinatária, e a pergunta é se esse valor está no pedido autêntico do usuário, em quais registros anteriores ele aparece e qual desses registros a lista de bases salva pelo agente cita expressamente.

As respostas de referência foram extraídas mecanicamente dos registros completos e ficaram só com quem pontuava, enquanto dois modelos leitores, identificados no artigo como gpt-5.6-luna e claude-sonnet-4-6, e um comparador determinístico recebiam pacotes de prova com partes retiradas ou acrescentadas.

A pontuação separa a concordância com a referência completa da correção fundamentada, que é responder exatamente o que o pacote visível permite, inclusive se abster quando falta prova, e conta à parte as afirmações sem suporte, que são respostas definitivas a perguntas que o pacote não permitia responder.

O exemplo da conta a pagar

No caso usado como exemplo, o resultado de uma leitura de arquivo contém o destinatário de uma conta a pagar, a ação seguinte envia dinheiro a esse destinatário e a base salva pelo agente é “in-3”, e um pacote traz o log e o relato do agente sem a tabela de ligação, enquanto o outro acrescenta a linha que diz que “in-3” corresponde àquele resultado de leitura.

O modelo Sonnet deu a mesma resposta nos dois pacotes, apontando o resultado da leitura do arquivo, e os autores mostram que, sem a tabela, essa resposta é um palpite certo em relação ao registro completo e, com a tabela, passa a ser uma constatação sustentada pela prova entregue.

Os números

Sem a tabela de ligação e com os identificadores originais, o Sonnet localizou corretamente todos os registros que continham o valor, mas fez afirmações sem suporte sobre a fonte citada em 26 dos 28 casos que dependiam da ligação ausente, e 22 dessas afirmações coincidiam com a referência completa, enquanto o outro leitor se absteve corretamente em 7 dos 28 casos e fez 21 afirmações sem suporte.

Com a tabela, as respostas definitivas sustentadas pela prova passaram a 21 de 28 casos num leitor e 24 de 28 no outro, e a correção fundamentada nos 64 casos subiu de 38 para 49 e de 26 para 49, mas a concordância com a referência completa mudou pouco, de 43 para 49 e de 46 para 49, porque parte do ganho foi transformar palpites já certos em constatações sustentadas.

Trocar os identificadores por rótulos opacos, sem fornecer a tabela, não trouxe melhora consistente, e mesmo com a tabela completa os dois leitores ainda erraram de 12 a 16 respostas sobre a fonte citada, com abstenções sem motivo, registros a mais e omissões.

O comparador determinístico, que só cruza texto literal e tabela, acertou ou se absteve corretamente em todos os casos, e quando o pedido autêntico do usuário era retirado do pacote, um dos leitores ainda fez afirmações sem suporte sobre ele.

Limites que os autores apontam

O estudo cobre 64 casos de 13 tarefas num único ambiente bancário simulado, não estima com que frequência as ligações se perdem em sistemas reais e não incluiu avaliação com peritos, e os autores observam que o Sonnet foi escolhido depois dos resultados do primeiro leitor, que houve uma única resposta por condição e que os intervalos estatísticos são exploratórios.

Os autores também ressaltam que uma citação salva registra a referência declarada pelo agente e não prova autorização, intenção nem o motivo interno pelo qual o agente escolheu aquele valor.

O que muda na coleta e no laudo

Para os autores, a coleta e a exportação da prova devem preservar as chamadas e os resultados das ferramentas na ordem de execução, o pedido autêntico e o canal de origem, o relato gerado pelo agente identificado como conteúdo gerado e as ligações entre os identificadores locais e os registros, e o relatório deve separar a relação sustentada, a relação vazia, a ausência de base registrada e a prova insuficiente, mantendo como não resolvida a constatação que depende de uma ligação que não foi preservada.