Parallel, angular and perpendicular parking for autonomously driven vehicles

Abstract

O progresso para criar um veículo completamente autónomo tem aumentado constantemente nas últimas décadas e por consequência, o estacionamento autónomo tem sido uma área bas tante investigada, uma vez que todas as viagem de carro têm de terminar com uma manobra de estacionamento. Nos últimos anos, com o recente sucesso da Aprendizagem por Reforço, a ideia de aplicar esta tecnologia para resolver o problema do estacionamento autónomo tem sido cada vez mais explorada. Um veículo equipado com sistema de estacionamento autónomo tem de estacionar em três tipos de lugares de estacionamento, perpendicular, angular e paralelo. Qualquer sistema de estacionamento autónomo visa controlar o ângulo de direção e a velocidade do veículo, tendo em consideração o estado do ambiente para garantir uma manobra sem colisões dentro do es paço disponível. Assim, nesta dissertação, são apresentados dois métodos que visam resolver o problema do estacionamento autónomo para os três tipos de lugares de estacionamento, per pendicular, angular e paralelo, utilizando a Aprendizagem por Reforço. Nesta dissertação, para cada método implementado é apresentada uma extensa explicação do método com a respectiva função de recompensa. A construção do ambiente e do agente no CopppeliaSim são apresentados juntamente com as configurações da implementação de ROS que é responsável por estabelecer a comunicação entre o CopppeliaSim e o Python script onde o algoritmo de Aprendizagem por Reforço foi implementado. O algoritmo de Aprendizagem por Reforço implementado foi o Deep Deterministic Policy Gradient (DDPG). Para os dois métodos, muitos treinos foram realizados para encontrar os hiperparâmetros ideais. O treino final e to das as etapas intermédias tambem são apresentadas. Por fim, foi realizada uma análise do comportamento do agente em todos os testes.

The progress to create a fully autonomous vehicle has been steadily increasing in the recent decades and by consequence, autonomous parking has been a well research field, since every driving trip has to end with a parking maneuver. In recent years, with the recent success of Reinforcement Learning, the idea of applying it to solve autonomous parking problem has been more and more explored. A vehicle equipped with a complete autonomous parking system must be able to park in three types of parking spots, perpendicular, angular and parallel parking spots. Any autonomous parking system aims to control the steering angle and speed of the vehicle by taking into account the actual situation of the environment to ensure collision-free motion within the available space. Thus, in this dissertation, two approaches that aim to solve the autonomous parking problem for the three mentioned types of parking spots using Reinforcement Learning are presented. In this dissertation, for each implemented approach an extensive explication of the method with the respective reward function is presented. The construction of the environment and the agent in CopppeliaSim are presented together with the configurations of the ROS implementation which is responsible for establishing the communication between CopppeliaSim and the Python script where the Reinforcement Learning algorithm was implemented. The Reinforcement Learn ing algorithm implemented was the Deep Deterministic Policy Gradient (DDPG). For the two ap proaches, an extensive search for the optimal hyper-parameters was realized and the final training and all the intermediate stages that lead to it are presented. Lastly, the agent’s behaviour for all the tests was analyzed.