LiDAR based 3D object tracking for autonomous driving

Abstract

Technology has become essential for society’s every-day-life and with the recent increase in artificial intelligence’s interest, this area has gained more and more relevance for both people (e.g., due to the increasing number of users of personal assistants, such as Siri, Alexa and Google Assistant) and service providers (e.g., Google search engine and social networks’ recommendation algorithms to keep users busy and active on their platforms - Facebook, Youtube, TikTok, etc.). Nevertheless, artificial intelligence has been applied to many other areas, such as targeted advertising to specific users, cybersecurity, medicine, and the automobile industry. Although artificial intelligence has not been the perfect solution in the aforementioned applications, it has been responsible for several significant improvements in the last decade. For example, in the automobile industry, there are more and more companies offering solutions for autonomous vehicles, being Tesla the most notorious. This evolution was driven by several factors, including need and interest in improving road safety, growing traffic problems that exist due to the increase of vehicles circulating, more reliable sensors, and recent advances in various areas of artificial intelligence, such as object detection, semantic segmentation, and object tracking. These three areas are interconnected. However, they have different purposes - the first two (detection and segmentation) more related to static frame analysis (e.g., image based analysis), while object tracking is usually applied in dynamic environments (e.g., sequence of frames, such as a video) where its input is processed in order to track objects over time, allowing an intelligent system to be “aware” of its environment. That said, this dissertation aims to study and explore the applicability and feasibility, as well as to develop and implement an object tracker in the context of autonomous driving. Furthermore, it is also intended to make a benchmark with state-of-the-art approaches and identify their main limitations. The input data will be focused on Light Detection and Ranging (LiDAR) based 3D point cloud, as there are several datasets available, in particular KITTI [1], which, in addition to being widely used in the state-of-the-art, has also achieved positive results, even in real-time execution situations. However, these solutions usually require a lot of computational resources and, which can be a hurdle for its application in real-life settings.

A tecnologia tornou-se essencial para o normal funcionamento da sociedade e com o recente aumento do interesse na inteligência artificial, esta área tem ganho cada vez mais relevância tanto para as pessoas (por exemplo, devido ao aumento do número de utilizadores de sistemas como assistentes pessoais, como Siri, Alexa e Google Assistant) como para os prestadores de serviços (por exemplo, o motor de busca da Google, os algoritmos de recomendação de várias redes sociais para manterem o utilizador ocupado e ativo nas plataformas em questão - Facebook, Youtube, TikTok, entre outros). Ainda assim, a inteligência artificial tem sido aplicada a muitas outras áreas, como, por exemplo, publicidade adaptada a cada utilizador, cibersegurança, medicina e indústria automóvel. Embora a inteligência artificial não tenha sido a solução perfeita nas aplicações mencionadas acima, esta tem sido responsável por vários avanços significativos na última decada. Por exemplo, na indústria automóvel, existem cada vez mais empresas que oferecem soluções para veículos autonómos, sendo a Tesla a mais reconhecida. Esta evolução foi alimentada por vários fatores, como a necessidade e interesse em melhorar a segurança na estrada, os crescentes problemas de trânsito que existem devido ao aumento de veículos a circular, sensores mais fidedignos e os avanços recentes em várias áreas da inteligência artificial, como, por exemplo, a deteção de objetos, segmentação semântica e tracking de objetos. Estas três áreas estão interligadas. Contudo têm focos diferentes - as duas primeiras (deteção e segmentação) mais relacionadas com análise de frames estáticas (por exemplo, análise baseada em imagens), enquanto que o tracking de objetos é, usualmente, aplicado em ambiente dinâmicos (por exemplo, em sequência de frames, sendo vídeo um desses casos). Este input é então processado para executar a tarefa de monitorização, permitindo que um sistema inteligente esteja “ciente” do ambiente onde se encontra. Posto isto, esta dissertação tem como objetivo estudar e explorar a aplicabilidade e viabilidade, assim como desenvolver e implementar um tracker de objetos no contexto da condução autónoma. Para além disso, também se pretende efetuar uma comparação com abordagens do estado de arte e identificar as suas principais limitações. Os dados de input serão focados em Light Detection and Ranging (LiDAR) baseado em point cloud 3D, uma vez que existem vários datasets disponíveis, em particular o KITTI [1], que, para além de ser muito utilizado no estado de arte, tem também alcançado resultados positivos, mesmo em situações de execução em tempo real. No entanto, estas soluções necessitam, normalmente, de muitos recursos computacionais, o que pode ser um entrave para a sua aplicação em contextos reais.