Detetor de conteúdo multimédia falso gerado através de algoritmos Deep Fake

Abstract

sociedade encontra-se a gerar um volume de dados sem precedentes na história. Apesar disso, a desinformação tem vindo a crescer, provocando preocupações no meio jornalístico e democrático. Este problema se tornou ainda mais evidente com os avanços tecnológicos, como a capacidade de manipular o significado semântico de imagens, vídeos ou áudios. Os resultados destas manipulações impõem uma dificuldade em distinguir entre conteúdo falso e original. Desta forma, os conteúdos multimédia manipulados são chamados de deepfake. Esta nomenclatura é resultado da combinação dos termos Deep Learning (DL) e fake. Para solucionar tal problemática trabalhos no estado da arte apresentam diferentes algoritmos para classificação de vídeos deepfake, dos quais utilizam-se de arquiteturas neuronais baseadas em Convolutional Neural Network (CNN), Long Short-Term Memory (LSTM) ou redes Transformers. Há trabalhos dos quais apresentam resultados positivos ao classificar dados deepfake criados a partir de uma determinada técnica para geração deepfake. No entanto, estes em sua maioria não apresentam resultados quando seus modelos são confrontados com dados gerados a partir de outra técnica deepfake distinta dos dados utilizados no treino do modelo. Consequentemente, há um lacuna nos trabalhos para uma classificação mais generalista independente do método utilizado para criação do conteúdo manipulado. Desta forma, as experiências desenvolvidas nesse trabalho utilizaram redes neuronais em diferentes estratégias. Resultando na proposta de uma solução para tal lacuna encontrada no estado da arte, a capacidade de um modelo ao classificar um vídeo falso independente da técnica de criação. Após as experiências escolheu-se o algoritmo de multi-classificação para a utilização no detetor. Para uma maior precisão na análise dos vídeos, o detetor possui níveis de confiança (Não Confiável, Nada Confiável, Muito Confiável) para cada classificação realizada. Ao validar o detetor, com vídeos das quatro técnicas deepfake e vídeos originais, foi possível saber que o nível de confiança ”Muito Confiável”a precisão média é de 91% quando a label era deepfake, independente da técnica (DeepFakes, Face2Face, FaceSwap e NeuralTextures) utilizada para criá-lo, enquanto que ao rotular dados como reais com o mesmo nível de confiança obtém um precisão de 60%.

A society generates a volume of data unprecedented in history. Despite this, misinformation is growing, causing concerns that are not the best of journalism and democracy. This problem becomes even more evident with technological advances, such as the ability to manipulate or semantic meaning of images, videos, or audio. The results of these manipulations, imply difficulty in distinguishing between fake and original content. In this way, manipulated multimedia content is called deepfake. This nomenclature is the result of the combination of two terms Deep Learning (DL) and fake. To solve this problem, non state-of-the-art works present different algorithms for classifying deepfake videos, two of which use neural architectures based on Convolutional Neural Network (CNN), Long Short-Term Memory (LSTM) or Transformers networks. Some studies show positive results for classifying deepfake data generated from a given technique for generating deepfake. However, these mostly show no positive results when the models classified data generated from another deepfake technique other than two data used rather than three models. Consequently, work is lacking for a more general classification regardless of the method used to create the manipulated content. Thus, experiments developed used neural networks in different strategies. Consequently, propose a solution to a gap found in the state of the art, the ability of a model to classify a fake video independent of the creation technique. After the experiments, the algorithm chosen was multi-classification used in the detector. For greater accuracy when analyzing the videos, the classifier has confidence levels (Not Confident, Unreliable, Very Confident) for each classification performed. Thus, the detector validated with videos from the four text techniques and original videos. It was possible to know when the classifier labeled a video as deepfake with a ”Very Confident”confidence level. This classification has an average 91% chance of being correct, the unmanipulated videos it has a 60% chance.