Real-time multi-network deep learning facial recognition for service robots

Abstract

Recent advances in generic service robots have shown their introduction in various novel environments such as domestic and healthcare facilities. The CHARMIE (Collaborative Home/Healthcare Assistant Robot by Minho Industrial Electronics) project is an anthropomorphic robot that performs generic service tasks in non-standardized environment settings using machine learning algorithms, which allow the robot to make rational decisions based directly on the surrounding environment. In order to ensure an enhanced interaction between the robot and its specified users, this dissertation presents a real-time multi-stage deep learning pipeline for facial recognition algorithm. By detecting which of the pre-trained users the robot is interacting with, it can adapt its actions to best fit the user's needs. The multi-network system is composed of three modules. A multi-stage cascaded convolutional network searches for facial landmarks, such as eyes, nose, or mouth, predicting its bounding box coordinates, detecting all the faces showcased in the camera frame. An Inception-ResNet deep convolutional network was trained on a large dataset for facial feature extraction, comparing different hyperparameter settings and fine-tuning. That generates the feature vectors and provides an amplified network for facial recognition and an SVM classifier to categorize each of the faces recognized to the correct user. The combination of the three modules allowed an end-to-end facial detection and recognition that can be used as a real-time user-based identification method. The resulting method was furthermore implemented on the general service robot CHARMIE. Those tasks were carried out on students and teachers from the Laboratory of Automation and Robotics (LAR) of Minho University. For that, a dataset containing those people was built using images fetch from individual videos, with random frames being rotated or flipped to create a more robust system.

Avanços recentes em robôs de serviço genéricos permitiram a sua utilização inovadora em vários meios ambientes, como residências domésticas, hospitais ou centros de saúde. O projeto CHARMIE (Collaborative Home / Healthcare Assistant Robot da Minho Industrial Electronics) é um robô antropomórfico que realiza tarefas em configurações não convencionais usando algoritmos de aprendizagem de máquina, que permitem ao robô tomar decisões racionais com base nas variáveis do meio ambiente que o rodeia. Com a intenção de criar uma melhor interação entre o robô e seus operários, esta dissertação apresenta um sistema de Deep Learning para reconhecimento facial de várias instâncias. Ao identificar a pessoa com a qual está a interagir, o robô adapta-se para realizar as suas ações pré-definidas atendendo às necessidades dela. O sistema é composto por várias redes neuronais de modo a compor os três módulos constituintes. Uma rede convolucional em cascata de várias instâncias procura zonas faciais, como olhos, nariz ou boca, prevendo as coordenadas que permitem isolar as caras detetadas, detetando todos os rostos exibidos ao usar uma câmara. A rede neuronal Inception-ResNet foi treinada num dataset extenso apropriado, funcionando como extrator de características faciais. Isso gera os vetores característicos de pessoas que serão usados como input para um classificador SVM, um modelo de aprendizagem máquina que irá prever a qual das identidades esses vetores correspondem. Essa implementação de princípio a fim dos três módulos permitiu a deteção e reconhecimento facial para ser usado como um método de identificação de usuários em tempo real. O método resultante foi implementado no robô de serviços CHARMIE. Essas tarefas foram realizadas com alunos e professores do Laboratório de Automação e Robótica (LAR) da Universidade do Minho. Para isso, foi usado um conjunto de imagens obtidas a partir de vídeos individuais dessas pessoas, invertendo ou rodando algumas dessas imagens aleatoriamente de modo a criar um sistema mais robusto.