Application of semantic segmentation through data acquired from sensors

Abstract

Today, AI is very important in our lives as its used all around us without our knowledge. From simple things such as personal assistants like Alexa and Siri, and advertising algorithms focusing on our tastes - Netflix on the recommendation of movies or, even more common, the presentation of advertising based on our search history -, to robots and to smart houses, cities or even vehicles. The presence of AI is increasing and even if we are still far away from our ’General AI’ ideology, a machine capable of anything autonomously, each day we get closer. In the last decade multiple applications of AI have been through breakthroughs. For example, the first implementations of autonomous vehicles were introduced by Tesla and other companies. A number of discoveries must have been made to achieve this revolution of AI performance and, among them, is two of the most important developments: Object Detection and Semantic Segmentation, closely related to each other. These are responsible for understanding the environment so the machine can take actions, being the latter an improvement of the first in terms of sensibility error associated to each entity detected as well as being able to detect its corresponding type, in a pixel level. These machines require more and more data to analyse, having many types of sensors in order to collect information, such as radars, cameras, LiDAR, among others. This work falls in the study of the use of Semantic Segmentation techniques and its application on categorising data from image related sensors in order to explain its breakthroughs and challenges, as well as improving and overcoming such obstacles. Data will consist mainly of scans from outdoor/self-driving cars POV (KITTI360) with the ability to be used with other types of data such as indoor scans (COCO), to explain both road and more day-to-day images semantic compositions, applied on a state-of-art solution. Consecutively we will perform a process of optimisation in order to reduce computation costs. Currently the works of DeepLab (with the research of deeplabv3[1]) have achieved a high success on Semantic Segmentation overcoming previous problems such as handling component boundaries with more refined lines while keeping it fairly easy to run on more less powerful machines, being the start point for this work.

Hoje a inteligência artificial é uma ferramenta com grande presença nas nossas vidas, muitas vezes sem a nossa perceção. De utilizações simples como assistentes pessoais - Alexa e Siri -, e personalização de publicidade baseada nos nossos gostos - apresentação de publicidade relevante baseada no nosso histórico de pesquisas -, para casos mais complexos como robôs e casas, veículos e cidades autónomas. A presença da inteligência artificial cresce, e apesar de estarmos ainda bastante longe da nossa ideia de ’General AI’ - uma máquina capaz de executar qualquer função de forma autónoma -, cada dia nos encontrámos mais perto. Na última década múltiplas aplicações da inteligência artificial realizaram avanços significativos como, por exemplo, as primeiras implementações de veículos autónomos que foram introduzidas por várias empresas, sendo a mais reconhecida a Tesla. Para chegar a este patamar nesta revolução da inteligência artificial foi necessário uma grande quantidade de estudo e descobertas onde, entre elas, duas se destacam com grande importância: Deteção de Objectos e Segmentação Semântica, ambas relacionadas. Estas são responsáveis por recolher conhecimento sobre o ambiente em que se encontra a máquina de forma a esta executar ações. Apesar de estarem ambas conectadas, a última pode ser considerada uma melhoria perante a primeira em relação á sensibilidade do erro associado a cada entidade detetada, assim como a nova capacidade de detetar todos os objetos e os seus respectivos tipos. Para isso as máquinas necessitam cada vez mais de dados para analisar e treinar, obtidas de vários possíveis sensores como radares, diferentes tipos de câmaras, LiDAR, entre outros. Esta dissertação tem então o objetivo de estudar o uso de técnicas de Segmentação Semântica e as suas aplicações na categorização de imagens provenientes de sensores do tipo câmara para explicar as suas descobertas e desafios, assim como melhorar e ultrapassar obstáculos existentes. Os dados consistem de scans das estradas, capturadas do POV de um veículo (KITTI360, sendo facilmente adaptada a utilizar scans de outros contextos para categorizar imagens mais ”comuns” (COCO). Atualmente os trabalhos do DeepLab (com o desenvolvimento do modelo deeplabv3[1]) conseguiram resultados com bastante sucesso, ultrapassando desafios anteriormente existentes tal como o tratamento dos limites de cada entidade da imagem, com vizinhanças bem definidas, sendo ao mesmo tempo capaz de ser executada em máquinas com poucos recursos, sendo por isso o ponto de início para este trabalho.