3D facial recognition using Deep Learning

Abstract

Com a ascensão de Deep Learning, tecnologias de reconhecimento facial baseadas em redes neuronais de convolução, tornaram-se o método de eleição para o desenvolvimento de soluções baseadas em reconhecimento facial. Contudo, apesar do seu grande potencial, o reconhecimento facial apresenta algumas preocupações relativamente à privacidade e segurança quando aplicado. Além disto, os primeiros algoritmos de reconhecimento, a duas dimensões (2D), embora apresentem um desempenho elevado, são influenciados por diversos fatores tais como condições de luz ambiente, a orientação e expressões faciais do sujeito, comprometendo assim a precisão do modelo e, consequentemente, a sua eficácia. Esta tecnologia tem vindo a tornar-se cada vez mais popular tendo sido, inclusive, em diversos aeroportos e, em larga escala, na indústria dos smartphones, permitindo assim uma interação mais natural e espontânea entre humano e máquina. Ao longo desta dissertação foi desenvolvido um sistema de visão por computador, que utilizando técnicas de Inteligência Artificial, nomeadamente Deep Learning, é capaz de reconhecer as faces de pessoas a 3 dimensões (3D) em tempo real. Para tal, recorreu-se a imagens RGB e mapas de profundidade capturados em diversas pessoas, implementado assim medidas extra de segurança que permitiram colmatar as falhas adjacentes aos métodos 2D mencionados acima. Procedeu-se ao desenvolvimento de um algoritmo de captura de imagem de pessoas com as quais se pretendeu realizar o reconhecimento facial. Para tal, foi necessário recorrer a hardware específico, nomeadamente uma câmara 3D. Segue-se o processamento individual de cada imagem, e por fim foram desenvolvidas duas redes neuronais de convolução treinadas de forma independente, sendo uma delas especificamente desenvolvida para reconhecimento de imagens RGB enquanto a restante foi desenvolvida com ênfase no reconhecimento de mapas de profundidade. Após a conclusão do treino das redes neuronais, ambas se encontram aptas para reconhecer em tempo real as pessoas onde foi aplicada a captura. O objetivo final passa por aplicar o algoritmo resultante no robô antropomórfico do Laboratório de Automação e Robótica, CHARMIE, com o objetivo de este executar um conjunto de tarefas distintas que variam conforme o utilizador reconhecido pelo sistema de reconhecimento desenvolvido.

With the continuous development of Deep Learning, facial recognition technologies based on CNNs (Convolutional Neural Networks) became the main method adopted in the field of facial recognition. However, despite its promising potential, it still presents many concerns regarding privacy and safety when applied. Moreover, the first facial recognition algorithms, the 2D ones, despite having good performance, revealed to suffer from several factors like the environment’s lighting conditions, pose and facial expression of the subject in which the recognition was applied, hence compromising the model’s accuracy and, consequently, its effectiveness. This technology became increasingly popular, leading to its use in several environments like in airports and even at a large-scale in the smartphone consumer industry, thus providing a more natural and spontaneous interaction between human and machine. Throughout this dissertation a computer vision system was developed using Artificial Intelligence techniques, mainly Deep Learning that is able to recognize faces in 3 dimensions (3D) and in real time. To do so, both RGB and depth images were captured in several subjects, thus implementing extra security measures, that consequently filled in the gaps inherent to 2D methods mentioned above. An image capture algorithm was developed, which required to use specific hardware, namely a camera that incorporates a 3D sensor. Following this is the image processing of each captured image, and, after this, two CNNs were developed and trained independently, being one of them specifically developed for RGB images, while the other one was developed with emphasis on depth map recognition. After concluding the training process, both networks become suitable to recognize new images from the subjects with which the capture process was taken with, in a real-time scenario. The final goal is to apply the resulting trained models into Laboratory of Automation and Robotics’ anthropomorphic robot, CHARMIE, with the purpose of making it to perform different tasks based on the person it has been able to perform the correct recognition.