Laudos de celular Android redigidos por IA acertam os fatos, mas trazem afirmações sem suporte e citações inválidas, mostra estudo

Um estudo de Madhab Chandra Das, Sajid Ahmed, Tasnia Tabassum e Qingzhong Liu, do departamento de ciência da computação da Sam Houston State University, no Texas, publicado no repositório arXiv em 18 de outubro de 2026 e aceito na conferência IEEE TPS 2026, mediu afirmação por afirmação a confiabilidade de laudos de perícia em celular Android redigidos por três modelos de linguagem de grande porte (LLM), os sistemas de inteligência artificial que geram texto, e encontrou fatos corretos ao lado de afirmações sem apoio na prova e de citações que não apontavam para evidência válida.

O problema técnico

Os autores partem da constatação de que um LLM escreve um texto fluente, mas fluência não garante que cada frase do laudo tenha base na prova examinada, e lembram que estudos anteriores já tinham concluído que esses modelos só ajudam na redação de laudos quando o texto passa por revisão completa e correção.

A pergunta do trabalho é se as afirmações de fato produzidas pelo Gemini, pelo Llama e pelo Qwen permanecem dentro dos limites da prova pericial verificada, quando os três recebem o mesmo pacote de evidências e as mesmas instruções.

Os dois casos montados

O primeiro caso usou o conjunto público de dados de Android 13 do acervo Digital Corpora, preparado por Joshua Hickman, processado com a ferramenta ALEAPP, cujos 388 analisadores rodaram sem erro e geraram 51.849 arquivos, dos quais os pesquisadores aceitaram 26 artefatos, normalizados em 2.192 registros, com 702 decisões de revisão humana sobre campos e horários.

Desse material saiu o pacote entregue aos modelos, e, à parte, os pesquisadores definiram 27 fatos que um laudo correto deveria trazer, restritos ao uso do aplicativo Google Voice, para medir quantos deles cada modelo recuperava.

O segundo caso usou a extração de um celular LG LGLS751 com Android 5.1.1, de propriedade de um dos autores e examinado com autorização dele, com 505 arquivos verificados, e a política de relato definida para ele foi de zero fato reportável, um teste de estresse proposital para ver se os modelos respeitariam esse limite ou criariam achados a partir de registros técnicos.

O método

Cada modelo, Gemini 3.1 Flash Lite, Llama 3.1 8B Instruct e Qwen3 235B, redigiu um laudo por caso, com temperatura zero, sem ferramentas externas e com instruções fixas que mandavam usar só a evidência fornecida, citar a evidência, evitar interpretação sem suporte e declarar as limitações quando a prova fosse insuficiente.

Os seis laudos foram quebrados em 612 afirmações atômicas, isto é, proposições de fato que podem ser avaliadas uma a uma, e cada afirmação recebeu um rótulo, com suporte, sem suporte, contraditória, exagerada ou incompleta, ou excluída por não ter conteúdo de fato, sempre contra os registros congelados e revisados por pessoas.

A rotulagem foi feita por três pesquisadores de doutorado, autores do estudo, com formação em perícia digital e segurança cibernética, e a avaliação original e a conferência independente concordaram em 494 das 612 afirmações, enquanto as outras 118 foram decididas num procedimento de resolução de divergências em que os rótulos concorrentes ficavam ocultos até a decisão.

O que foi encontrado

No conjunto final, 424 afirmações tinham suporte, 163 não tinham, quatro contradiziam a prova, quatro eram exageradas ou incompletas e 17 foram excluídas, o que dá, sobre as 595 afirmações de conteúdo, taxa de suporte de 71,26% e taxa observada de alucinação, soma das afirmações sem suporte e das contraditórias, de 28,07%.

Por modelo, a taxa de suporte foi de 71,75% no Gemini, 58,62% no Llama e 78,85% no Qwen, e a de alucinação foi de 27,35%, 40,69% e 20,70%, respectivamente.

No caso público, os três modelos recuperaram os 27 fatos esperados, mas a validade das citações variou muito, porque o Gemini fez 168 citações válidas em 189 exigidas (88,89%), o Qwen fez 145 em 189 (76,72%) e o Llama não fez nenhuma válida em 135 exigidas.

No celular LG, em que não havia nenhum fato a relatar, os modelos produziram 65 afirmações, das quais 38 sem suporte e uma contraditória, e os autores escrevem que os modelos transformaram registros técnicos ou de contexto em afirmações que iam além da prova, lembrando que a presença de arquivos, metadados, horários ou identificadores não estabelece, por si só, identidade do usuário, intenção, propriedade ou ação física.

Os limites apontados pelos autores

O estudo avaliou só dois casos de Android e um laudo por modelo em cada caso, sem medir a variação entre gerações repetidas nem mudanças de versão dos modelos, e por isso os autores avisam que os números não estabelecem significância estatística nem um ranking geral entre os modelos.

Os dois casos também tinham limites de relato diferentes, um restrito ao Google Voice e outro com zero fato reportável, o que impede comparar diretamente prova pública e prova de aparelho físico, e o trabalho não mediu o esforço dos revisores, a facilidade de uso nem a admissibilidade em juízo.

O que os autores dizem para a prática

Segundo os autores, os resultados apoiam o uso de LLM como auxiliar de redação, e não como gerador autônomo de laudos, e o perito precisa manter o controle sobre os limites da prova, a interpretação das afirmações, a validação das citações e a aprovação final.

Eles acrescentam que restringir a evidência e recuperar todos os fatos não garante suporte nem citação correta, e que recuperação de fatos, suporte das afirmações e validade das citações devem ser verificados separadamente, porque uma citação inválida pode apontar para uma evidência existente com identificador errado ou para uma evidência que não está no material aceito, e cada caso exige conferência própria.