Deteção de danos no interior de um carro por visão por computador

Abstract

Atualmente, os veículos totalmente autónomos são vistos como o futuro da indústria automóvel, perspectivando-se assim uma revolução na forma como os meios de transporte são hoje em dia utilizados. Com o desenvolvimento deste meio de transporte, o conceito de Shared Autonomous Vehicles (SAV) ganha uma grande relevância uma vez que possibilita o transporte de uma forma fácil, rápida e económica. Para garantir que os SAV fornecem todas as condições de conforto e limpeza para serem usados pelas pessoas, é necessário a utilização de um sistema de monitorização para averiguar o estado do interior do carro, nomeadamente para verificar a presença de sujidade e danos (i.e. corte, desgaste, queimaduras e manchas). Foi objetivo deste trabalho avaliar possíveis soluções para solucionar a deteção de sujidade e danos dentro de um carro. Neste trabalho foram desenvolvidos algoritmos de Deep Learning para a classificação de sujidade e danos no interior de veículos automóveis. Para além da classificação destes danos é também de extrema importância saber a sua distribuição espacial. O trabalho é constituído por três módulos: Seleção e Estudo de Sensores para Caracterização de Danos, Desenvolvimento de Algoritmos para Deteção de Danos e Sujidade e por fim, Avaliação dos Algoritmos no Interior de Veículos Automóveis. No módulo Seleção e Estudo dos Sensores para Caracterização dos Danos, é apresentado o estudo dos tipos de sensores de imagem que melhor se adequam ao problema. No módulo do Desenvolvimento de Algoritmos para Deteção de Danos e Sujidade é apresentado o estudo de artigos e métodos para deteção de danos. Depois do estudo e comparação entre várias abordagens do Estado de arte foram escolhidos métodos de Deep Learning: Deteção de Objetos e Semantic Segmentation, para a resolução da nossa problemática. Ainda neste módulo, os algoritmos desenvolvidos são avaliados recorrendo a um dataset outcar anteriormente criado. Por último, é apresentado o módulo Avaliação dos Algoritmos no Interior de Veículos Automóveis, no qual com base no comportamento obtido dos algoritmos avaliados no dataset outcar, são escolhidos e avaliados os melhores algoritmos num dataset incar também criado, os métodos que obteram as melhores performances foram os métodos de Semantic Segmentation: DeepLabV3+ e U-Net. O modelo DeepLabV3+ mostrou resultados muito promissores na deteção e classificação desta problemática, obtendo resultados muito satisfatórios para as classes bom, dano, mancha e sujidade, com uma Exatidão de 77.17%, 58.60% 65.81% e 68.82%, respetivamente.

Currently, fully autonomous vehicles are seen as the future of the automotive industry, thus envisaging a revolution in the way in which transport is used today. With the development of this means of transport, the concept of Shared Autonomous Vehicles SAV gains great relevance since it allows transportation in an easy, fast and economical way. To ensure that the SAVs provide all the conditions of comfort and cleanliness to be used by people, it is necessary to use a monitoring system to check the status of the interior of the car, namely to check for the presence of dirt and damage (ie cut, wear, burns and stains). The objective of this work was to evaluate possible solutions to solve the detection of dirt and damage inside a car. In this work, Deep Learning algorithms were developed for the classification of dirt and damage inside vehicles. In addition to the classification of these damages, it is also extremely important to know their spatial distribution. The work consists of three modules: Selection and Study of Sensors for Characterization of Damage, Development of Algorithms for the Detection of Damage and Dirt and finally, Evaluation of Algorithms in the Interior of Vehicles. In the Selection and Study of Sensors for Damage Characterization module, the study of the types of image sensors that best suit the problem is presented. In the Development of Algorithms for the Detection of Damage and Dirt module, is presented the study of articles and methods for detecting damage. After studying and comparing several state-of-the-art approaches, Deep Learning: Object Detection and Semantic Segmentation methods were chosen to solve our problem. Also in this module, the developed algorithms are evaluated using an out-car dataset previously created. Finally, the module Evaluation of Algorithms in the Interior of Vehicle is presented, in which based on the behavior obtained from the algorithms evaluated in the out-car dataset, the best algorithms are chosen and evaluated in an in-car dataset also created, the methods that obtained the best performances were the Semantic Segmentation methods: DeepLabV3 + and U-Net. The DeepLabV3+ model showed very promising results in the detection and classification of this problem, obtaining very satisfactory results for the classes good, damage, stain and dirty, with an Accuracy of 77.17%, 58.60% 65.81% and 68.82%, respectively.