Detectores de deepfake falham quando o rosto inteiro é sintetizado, e estudo europeu propõe treino com gêmeos de imagens reais

Andrii Yermakov, Jan Cech e Jiri Matas, da Universidade Técnica Tcheca, em Praga, e Mario Fritz, do CISPA Helmholtz Center for Information Security, na Alemanha, depositaram no arXiv, em 19 de novembro de 2026, o estudo “TwinD: Generalizing Deepfake Detection from Blending to Entire Face Synthesis”, que mede como os detectores de rosto falso em vídeo se saem diante das técnicas mais recentes de geração.
O artigo está sob licença Creative Commons CC BY 4.0, e os autores publicaram o código, o modelo treinado e os dados de treino para que o resultado possa ser reproduzido.
Dois tipos de falsificação
Os autores dividem os vídeos falsos em dois grupos, os de mesclagem (blending), em que um rosto trocado ou reencenado é colado de volta no quadro real, e os de síntese do rosto inteiro (entire face synthesis, EFS), em que o gerador cria o quadro todo, sem nenhuma etapa de colagem.
Segundo o estudo, a maioria dos bancos de deepfakes contém vídeos de mesclagem, e os detectores costumam ser treinados no banco FaceForensics++ (FF++), que só tem esse tipo de falsificação, de modo que aprendem as marcas da colagem e se saem bem em outros vídeos colados, mas a síntese do rosto inteiro não deixa essas marcas.
Num teste com 19 bancos de vídeos falsos publicados entre 2019 e 2026, o melhor detector de rosto falso anterior chegou a uma área sob a curva ROC (AUROC) média de 96,2% em dez bancos de mesclagem, mas nenhum passou de 78,1% em cinco bancos de síntese do rosto inteiro.
Os detectores de conteúdo gerado por IA, criados para imagens inteiramente sintéticas, também não resolveram o problema, porque o melhor deles ficou em 73,8% nos bancos de síntese do rosto inteiro e nenhum passou de 71,4% nos de mesclagem.
A ideia dos gêmeos
A proposta do TwinD é mudar o material de treino, com dois tipos do que os autores chamam de gêmeos, que são falsificações feitas a partir de um quadro real e treinadas em par com ele, recebendo a mesma alteração de imagem, para que a única diferença entre os dois seja a manipulação.
O gêmeo de reconstrução é o quadro real passado pelo autocodificador de vídeo do CogVideoX, com os pixels reais devolvidos a uma região aleatória que cobre de 0 a 90% da imagem, para que o detector aprenda os vestígios que o decodificador deixa em tudo o que produz, mesmo quando esses vestígios cobrem só parte do quadro.
O gêmeo de mancha mistura o quadro real com uma cópia alterada dele, com contraste, matiz e resolução modificados, dentro de uma máscara redonda que cobre de 8 a 50% do recorte do rosto, e não precisa de nenhum gerador nem de pontos de referência do rosto.
O treino usou 38.211 quadros, dos quais 7.652 reais, tirados do FF++ e do banco Casual Conversations v2, e os autores conferiram que nenhum banco de teste contém vídeos gerados com o CogVideoX nem gerador de código aberto baseado nele.
O que os testes mostraram
O TwinD teve AUROC média de 96,3% nos 19 bancos, 8,9 pontos acima do melhor detector anterior, com 98,1% nos bancos de mesclagem, 95,6% nos de síntese do rosto inteiro e pelo menos 90,4% em cada um dos 19, sendo o melhor método em 17 deles.
Em 17 geradores identificados nos bancos, nenhum visto no treino, a média foi de 95,6%, com pelo menos 88,8% em cada gerador e entre 91,4% e 97,4% nos quatro geradores de código fechado.
Os testes de retirada de componentes mostraram que sem os gêmeos de reconstrução o desempenho na síntese do rosto inteiro cai 18,1 pontos e que sem os gêmeos de mancha o desempenho na mesclagem cai 5,8 pontos, e um modelo treinado só com gêmeos, sem nenhum vídeo falso de banco público, ainda chegou a 94,3% em média.
Os autores também mostram que o ganho não vem do volume de dados nem do modelo, porque, treinado só com o FF++ como os detectores anteriores, o mesmo modelo caiu 24,4 pontos nos vídeos de síntese do rosto inteiro e ficou 1,7 ponto abaixo do melhor detector anterior.
A pontuação de cada vídeo é a média das pontuações de até 32 quadros extraídos de forma uniforme, e o modelo processa cerca de 1.000 quadros por segundo numa placa A100.
Os limites apontados pelos autores
No teste de degradação, com compressão JPEG, desfoque, ruído gaussiano e redução de resolução, o TwinD teve a maior média em todas as condições, mas a vantagem diminuiu com ruído e redução de resolução, e no ruído mais forte ele empatou com o melhor detector anterior.
Os autores escrevem que essas duas degradações reduziram o desempenho do TwinD mais do que o dos detectores anteriores, principalmente nos vídeos de síntese do rosto inteiro, provavelmente porque mascaram os vestígios de alta frequência do decodificador e porque não foram usadas no treino, e apontam o treino para resistir a elas como trabalho futuro.
Outro limite registrado é que os gêmeos de reconstrução vêm de um único autocodificador, e nos testes com quatro autocodificadores alternativos nenhum foi o melhor em todos os geradores, embora todos tenham ficado de 3,3 a 6,2 pontos abaixo do CogVideoX e muito acima do melhor detector anterior.
A AUROC mede a capacidade do detector de separar vídeos reais de falsos considerando todos os limiares de decisão possíveis, e o estudo traz no material suplementar também a taxa de erro igual (EER) e a precisão média de cada método.
Fonte original: arXiv, Andrii Yermakov, Jan Cech, Mario Fritz et al., 19.Nov.2026.
Marcadores: deepfake, detecção de vídeo falso, prova digital, inteligência artificial, arXiv, autenticidade de vídeo.