Utilize este identificador para referenciar este registo:
https://hdl.handle.net/1822/42023
Título: | Sistema de visão para a interação e colaboração humano-robô: reconhecimento de objetos, gestos e expressões faciais |
Outro(s) título(s): | Vision system for human-robot interaction and cooperation: object, gesture and facial expression recognition |
Autor(es): | Cunhal, Miguel João Alves |
Orientador(es): | Bicho, Estela |
Palavras-chave: | Reconhecimento de objetos Reconhecimento de gestos Conhecimento de expressões faciais Visão estereoscópica SURF Momentos invariantes de Hu Action units Object recognition Gesture recognition Facial expression recognition Stereo vision Hu’s moment invariants |
Data: | 2014 |
Resumo(s): | O objetivo deste projeto de dissertação consistiu no design, implementação e
validação de um sistema de visão para aplicação no robô antropomórfico ARoS
(Anthropomorphic Robotic System) no contexto da execução autónoma de tarefas
de interação e colaboração com humanos. Foram exploradas três vertentes
essenciais numa perspetiva de interação natural e eficiente entre robô e humano: o
reconhecimento de objetos, gestos e expressões faciais.
O reconhecimento de objetos, pois o robô deve estar a par do ambiente que o
rodeia de modo a poder interagir com o parceiro humano. Foi implementado um
sistema de reconhecimento híbrido assente em duas abordagens distintas: caraterísticas
globais e caraterísticas locais. Para a abordagem baseada em caraterísticas
globais usaram-se os momentos invariantes de Hu. Para a abordagem baseada
em caraterísticas locais exploraram-se vários métodos de deteção e descrição de
caraterísticas locais, selecionando-se o SURF (Speeded Up Robust Features) para
uma implementação final. O sistema devolve, também, a localização espacial dos
objetos, recorrendo a um sistema de visão estereoscópico.
O reconhecimento de gestos, na medida em que estes podem fornecer informação
acerca das intenções do humano, podendo o robô agir em concordância após a
interpretação dos mesmos. Para a deteção da mão recorreu-se à deteção por cor e
para a extração de caraterísticas da mesma recorreu-se aos momentos invariantes
de Hu. A classificação dos gestos é feita através da verificação dos momentos
invariantes de Hu complementada por uma análise da segmentação resultante da Convex Hull.
Por último, o reconhecimento de expressões faciais, visto que estas podem
indicar o estado emocional do humano. Tal como em relação aos gestos, o
reconhecimento de expressões faciais e consequente aferição do estado emocional
permite ao robô agir em concordância, podendo mesmo alterar o rumo da ação que
vinha a efetuar. Foi desenvolvido um software de análise de robustez para avaliar
o sistema previamente criado (FaceCoder) e, com base nesses resultados, foram
introduzidas algumas alterações relevantes no sistema FaceCoder. The objective of this dissertation consisted on the design, implementation and validation of a vision system to be applied on the anthropomorphic robot ARoS (Anthropomorphic Robotic System) in order to allow the autonomous execution of interaction and cooperation tasks with human partners. Three essential aspects for the efficient and natural interaction between robot and human were explored: object, gesture and facial expression recognition. Object recognition, because the robot should be aware of the environment surrounding it so it can interact with the objects in the scene and with the human partner. An hybrid recognition system was constructed based on two different approaches: global features and local features. For the approach based on global features, Hu’s moment invariants were used to classify the object. For the approach based on local features, several methods of local features detection and description were explored and for the final implementation, SURF (Speeded Up Robust Features) was the selected one. The system also returns the object’s spatial location through a stereo vision system. Gesture recognition, because gestures can provide information about the human’s intentions, so that the robot can act according to them. For hand’s detection, color detection was used, and for feature extraction, Hu’s moment invariants were used. Classification is performed through Hu’s moment invariants verification alongside with the analysis of the Convex Hull segmentation’s result. Last, facial expression recognition because it can indicate the human’s emotional state. Like for the gestures, facial expression recognition and consequent emotional state classification allows the robot to act accordingly, so it may even change the course of the task it was taking on. It was developed a robustness analysis software to evaluate the previously created system (FaceCoder) and, based on the results of the analysis, some relevant changes were added to FaceCoder. |
Tipo: | Dissertação de mestrado |
Descrição: | Dissertação de mestrado integrado em Engenharia Eletrónica Industrial e Computadores |
URI: | https://hdl.handle.net/1822/42023 |
Acesso: | Acesso aberto |
Aparece nas coleções: | BUM - Dissertações de Mestrado DEI - Dissertações de mestrado |
Ficheiros deste registo:
Ficheiro | Descrição | Tamanho | Formato | |
---|---|---|---|---|
Dissertação_Miguel Cunhal_2014.pdf | 5,91 MB | Adobe PDF | Ver/Abrir |