Banco com 223 rostos de câmeras de vigilância reais testa a restauração antes do reconhecimento facial

Os pesquisadores Manish Das, Ajay Kumar Yadav, Shiv Ram Dubey e Satish Kumar Singh, do Laboratório de Visão Computacional e Biometria do Instituto Indiano de Tecnologia da Informação de Allahabad, depositaram no arXiv, em 27 de outubro de 2026, um banco de imagens de rostos captados por câmeras de vigilância reais, acompanhados de fotos de referência tiradas em separado, e um sistema para medir se a restauração dessas imagens melhora o reconhecimento.

O problema que o banco quer medir

Segundo os autores, as imagens de circuito fechado de TV chegam com defeitos que se somam, como baixa resolução por causa da distância entre a pessoa e a câmera, desfoque por movimento, ruído do sensor, partes do rosto cobertas e grandes variações de pose, e nunca houve um banco de referência que reunisse esses defeitos em imagens reais.

Os bancos usados até agora medem a restauração em rostos de estúdio ou em imagens degradadas por computador, com desfoque gaussiano, ruído e compressão, o que deixa de fora defeitos reais que aparecem juntos numa mesma imagem.

Como as duas imagens de cada par são tiradas em separado e não estão alinhadas no espaço, o banco não serve para treinar com pares perfeitos, e essa é a diferença que os autores destacam em relação aos bancos sintéticos.

Como o banco foi montado

As imagens de baixa qualidade foram captadas por uma câmera IP tipo domo de 8 megapixels, modelo EW-IP8050D, em ambientes internos sem controle de iluminação, pose ou obstáculos, enquanto as imagens de alta qualidade foram tiradas separadamente, de forma controlada.

O banco tem duas versões: a versão A reúne 102 identidades, com uma imagem de alta qualidade por pessoa e 8.090 imagens de baixa qualidade, e a versão B reúne 130 identidades, com 15 a 25 imagens de alta qualidade por pessoa, somando 2.612, e 7.572 imagens de baixa qualidade.

As duas versões têm nove identidades em comum, e depois de retirar as repetições o conjunto final fica com 223 identidades.

Para os testes, os autores separaram as identidades, de modo que o conjunto de teste tem 130 pessoas, com 1.581 imagens de baixa qualidade e 528 de alta qualidade, e o restante forma o conjunto de treino, com 14.081 imagens de baixa qualidade e 2.186 de alta qualidade, ampliadas com transformações padrão.

Os modelos de restauração e a identificação

O sistema tem três etapas: a detecção e o alinhamento do rosto com o detector MTCNN, a restauração da imagem de baixa qualidade com um de quatro modelos (CodeFormer, RestoreFormer++, PiSA-SR e TSD-SR) e a extração de um vetor de 512 números com a rede Inception-ResNet-v1, treinada com o conjunto VGGFace2.

Os vetores são normalizados, e a identificação escolhe, para cada rosto restaurado, a referência de alta qualidade mais próxima, de modo que a acurácia é a proporção de acertos no primeiro lugar da lista, medida como top-1.

O texto da metodologia descreve a comparação pela distância euclidiana entre os vetores, mas a seção do sistema em tempo real diz que a comparação usa produto escalar, e o artigo não informa se essa diferença muda os resultados.

Na comparação dos modelos, os autores testaram três configurações: os modelos como foram publicados, sem ajuste; o ajuste com imagens de alta qualidade degradadas artificialmente; e o ajuste direto com as imagens reais de baixa qualidade.

O que o detector de rosto perde

Antes da restauração, o detector MTCNN falha em parte das imagens, e a figura 7 do artigo mostra quadros em que ele não encontra o rosto e outros em que marca mãos e pés como se fossem rostos.

Os autores atribuem essas falhas à baixa resolução, à mudança de iluminação, ao desfoque, às oclusões e às poses variadas, e isso quer dizer que um erro de detecção já chega ao reconhecimento antes de qualquer restauração.

Os resultados

Sem nenhuma restauração, a acurácia de identificação no banco foi de 62,60%, e essa é a linha de base do estudo.

Com os modelos publicados, sem ajuste, o PiSA-SR chegou a 64,77% e o TSD-SR a 64,45%, ganhos pequenos, enquanto o CodeFormer ficou em 57,69%, abaixo da linha de base, e o RestoreFormer++ em 59,46%.

Com o ajuste feito só em imagens reais de baixa qualidade, o resultado caiu para 3,23% no PiSA-SR e para 33,33% no TSD-SR, subiu para 40,20% no CodeFormer e chegou a 62,75% no RestoreFormer++, quase no nível da linha de base.

O melhor resultado veio do ajuste com degradação sintética: o TSD-SR chegou a 70,08%, o PiSA-SR a 67,81%, o RestoreFormer++ a 67,49% e o CodeFormer a 59,20%.

Os autores explicam a diferença dizendo que as imagens reais são captadas de forma independente, sem alinhamento espacial e com várias degradações ao mesmo tempo, o que as imagens sintéticas não reproduzem.

Uso em tempo real

Em testes com uma placa NVIDIA GeForce RTX 3090, o sistema processou cerca de 25 quadros por segundo (FPS) em fluxos de CFTV ao vivo, com a restauração feita antes da identificação e com caixas e rótulos desenhados sobre o rosto.

Os autores mostram exemplos em que a restauração corrigiu uma identificação errada, como a imagem que passou da identidade 32 para a identidade 108, com distância caindo de 0,9332 para 0,7562, e também casos em que o rosto restaurado continuou errado.

Limites apontados pelos autores

O principal limite, segundo o próprio artigo, é que o ajuste com imagens reais não melhorou o reconhecimento na maioria das configurações, e os autores tratam isso como um desafio aberto para trabalhos futuros.

Outro limite é a abrangência do banco, que reúne apenas imagens de ambientes internos captadas por um único modelo de câmera, sem dados de outros locais, de outras câmeras ou de outras condições de luz.

O artigo também não traz taxas de falso positivo nem o comportamento dos modelos com limiares de decisão diferentes, porque a medida principal é a acurácia no primeiro lugar, e não o erro em cada limiar.

O que muda na prática da perícia

Para quem examina uma identificação feita a partir de câmera de segurança, o artigo mostra que a qualidade da imagem questionada muda o resultado, e que um método de restauração pode melhorar uma identificação ou piorá-la, conforme o modelo e o treino usados.

O banco oferece a quem avalia um sistema um material parecido com o do caso real, com imagens da própria câmera e referências separadas, o que permite medir o desempenho com a degradação que o sistema vai encontrar, e não com imagens de estúdio.

Ao usar um método desse tipo, o laudo deve informar qual modelo foi usado, em qual configuração de treino, com quais imagens de referência e com qual medida de distância, porque o artigo mostra que essas escolhas alteram a acurácia de forma grande.

A imagem restaurada deve ser tratada como hipótese de comparação e não como prova da identidade, já que o próprio artigo mostra erros de identificação mesmo depois da restauração.