Customizable FPGA-based hardware accelerator for standard convolution processes applicable to LiDAR data

Abstract

In recent years there has been an increase in the number of research and developments in intelligent systems to replace human perception capabilities. This proliferation of research has enabled the introduction of new technologies with wide applicability in these same systems. Artificial Intelligence, applied to the perception of autonomous systems, is one of the areas that has benefited the most from this growing trend of innovative solutions, such as the application of autonomous vehicles. LiDAR sensors have been highlighted in the last years as the favorite device to accomplish object detection, classification and tracking on autonomous vehicles, as a variety of research works on models based on Point Clouds. Those models use Deep Learning algorithms that are based on Neural Networks architectures, providing convolution analysis on point cloud data. These models stand out as being quite efficient and robust in their intended tasks, but are also characterized for their requirements regarding point cloud processing times greater than the minimum required given the risky nature of the application. Thus, it can be expected that its implementation in devices with vehicle-compatible characteristics, both in consumption and size, will result in processing time degradation due to resource limitation. The present work focused on the design and implementation of convolution neural networks in devices with limited resources deployed in vehicles, also designed as edge devices. To this end, parallelism approaches were studied, implemented, and compared in order to provide a reduction in processing time (in 50% using only two processing elements in simultaneously) while maintaining the accuracy. Next, the study and implementation of different optimization methods to the block initially developed is done. Both developments were correctly validated in different applications, where was verified the correct operation and process efficiency on image and point cloud processing while reducing the amount of logical FPGA resources (in 40/50% of digital signal processing components).

Nos últimos anos têm-se verificado um aumento do número de investigações e desenvolvimentos em sistemas inteligentes com intenção de substituir a capacidade de percepção humana. Esta proliferação da investigação possibilitou a introdução de novas tecnologias com uma vasta aplicabilidade nesses mesmos sistemas. Inteligência Artificial, aplicada à percepção dos sistemas autónomos é uma das àreas que mais tem benefeciado desta tendência de crescimentos em soluções inovadoras, tal como na aplicação em veículos autónomos. Sensores LiDAR têm-se destacado nos últimos anos como o dispositivo favorito para a realização de deteção, classificação e tracking de objetos em veículos autónomos, como demonstram a variedade de trabalhos de investigação de modelos de deteção de objetos a partir de nuvem de pontos. Estes modelos recorrem a algoritmos de Deep Learning que têm por base arquiteturas baseadas em Redes Neurais por convolução de forma a fazer a análise da nuvem de pontos. Estes modelos destacam-se por serem bastante eficientes e robustos nas tarefas a que se destinam, mas caracterizam-se também por requerer tempos de processamento superiores ao mínimo exigível dada a natureza de risco da aplicação. Assim, é de esperar que a sua implementação em dispositivos com características compatíveis com veículos, quer em consumos como em dimensões, resulte na degradação do tempo de processamento devido à limitação de recursos. O presente documento focou-se no design e implementação de redes neuronais por convolução em dispositivos com recursos limitados instalados em veículos, aqui designados de edge devices. Para tal foram estudadas abordagens de paralelismo, implementadas e comparadas de forma a proporcionar uma redução do tempo de processamento (em 50% durante a aplicação em simultâneo de dois blocos de processamento). Em seguida, é feito o estudo e implementação de diferentes métodos de otimização ao bloco inicialmente desenvolvido. Ambos os desenvolvimentos foram validados para diferentes aplicações, onde se verifica a sua eficiência quer no processamento de imagens como em nuvem de pontos enquanto proporciona a redução de recursos em 40/50%.