Tracking 3D de objetos deformáveis em tempo real

Abstract

O tracking 3D de objetos é um tópico que tem sido amplamente estudado há vários anos. Apesar de já existirem diversas soluções robustas para tracking de objetos rígidos, quando se trata de objetos de formáveis o problema aumenta de complexidade. Nos últimos anos, tem-se assistido a um aumento da utilização de técnicas de Machine/Deep Learning para resolver problemas da área da visão por computa dor, incluindo o tracking 3D de objetos. Por outro lado, têm surgido diversos dispositivos de baixo custo (do género da Kinect) que permitem obter imagens RGB-D, as quais, além da informação de cor, con têm informação de profundidade. Nesta dissertação pretendeu-se estudar, desenvolver e implementar abordagens de tracking 3D de objetos deformáveis que recorram a técnicas de Machine/Deep Learning e tenham como input imagens RGB-D. Foi realizada uma abordagem de Deep Learning para o tracking do objeto deformável onde é utilizada uma arquitetura U-NET. Os testes realizados têm por base dois datasets e obteve-se resultados satisfatórios (IOU>0.8) em ambos os datasets. Para além disso, o tracking 3D é realizado em tempo real.

3D object tracking is a topic that has been widely studied for several years. Although there are already several robust solutions for tracking rigid objects, when it comes to deformable objects the problem increases in complexity. In recent years, there has been an increase in the use of Machine / Deep Learning techniques to solve problems in the area of computer vision, including 3D object tracking. On the other hand, several low-cost devices (like Kinect) have appeared that allow obtaining RGB-D images, which, in addition to color information, contain depth information. In this dissertation we intend to study, develop and implement 3D tracking approaches for deformable objects that use Machine / Deep Learning techniques and have RGB-D images as input. An approach of Deep Learning was performed to track the deformable object where a U-NET architecture is used. The tests performed are based on two sets of data and satisfactory results were obtained (IOU> 0.8) in both sets of data. In addition, 3D tracking should be performed in real time.