Edge-enabled multi-agent system architecture for multimodal machine learning

Abstract

Public lighting, despite being one of the most important services a city must provide, it is also one of the main sources of energy consumption and consequently running costs. One way to drastically improve the efficiency of these systems is by using object detection in order to make each of the public lighting poles aware of their surroundings, giving them the ability to adapt to the environment. This is one of the main goals of an industry leader company's project in the area of public lighting, where this study is inserted. In this project, each public lighting pole is upgraded with a set of sensors: radar, microphone and camera (what we refer to as fog computing). By developing a multimodal machine learning model, the goal is to leverage the data from the different sensors to improve the object detection capabilities of traditional unimodal machine learning model. Additionally, the developed model will be deployed into an edge device that is also installed in the public lighting pole, due to data privacy concerns and network latency problems that would otherwise occur with traditional server-side approaches. This constrain raises the main question that this study will try to answer, which is how to develop a complex multimodal machine learning model for low-power efficient edge devices. In this study, a multi-agent architecture will be proposed, that authors can adapt to their own multimodal machine learning problems with edge devices. To prove the efficient of the proposed system, a proof of concept implementation will be carried out that involves the aforementioned sensors, as well as the You Only Look Once (YOLO) object detection model, with a feature-level data fusion approach. Finally, the implemented system will be deployed to an edge device, where the hardware performance will be tested and compared to similar work in the literature.

A iluminação pública, apesar de ser um dos serviços mais importantes que uma cidade deve prestar, é também uma das principais fontes de consumo de energia e, consequentemente, de custos de funcionamento. Uma das formas de melhorar drasticamente a eficiência destes sistemas é através da utilização da deteção de objetos, de modo que cada um dos postes de iluminação pública conheça o ambiente que lhe rodeia, dando-lhes a capacidade de se adaptarem a mudanças no ambiente. Este é um dos principais objetivos de um projeto de uma empresa líder de mercado na área da iluminação pública, onde se insere este estudo. Neste projeto, cada poste de iluminação pública é equipado com um conjunto de sensores: radar, microfone e câmara (o que designamos por fog computing). Ao desenvolver um modelo de aprendizagem automática multimodal, o objetivo é aproveitar os dados dos diferentes sensores para melhorar as capacidades de deteção de objetos do modelo tradicional de aprendizagem automática unimodal. Além disso, o modelo desenvolvido será deployed num dispositivo edge que também está instalado no poste de iluminação pública, devido a preocupações com a privacidade dos dados e a problemas de latência da rede que, de outro modo, ocorreriam com abordagens tradicionais do lado do servidor. Esta limitação levanta a principal questão a que este estudo tentará responder, que é como desenvolver um modelo complexo de aprendizagem automática multimodal para dispositivos edge eficientes e com capacidade computacional limitada. Neste estudo, será proposta uma arquitetura multi-agente, que os autores podem adaptar aos seus próprios problemas de aprendizagem automática multimodal com dispositivos edge. Para provar a eficiência do sistema proposto, será realizada uma implementação de prova de conceito que envolve os sensores mencionados anteriormente, bem como o modelo de deteção de objectos You Only Look Once (YOLO), com uma abordagem de fusão de dados ao nível das características. Por fim, o sistema implementado será deployed num dispositivo periférico, onde o desempenho do hardware será testado e comparado com trabalhos semelhantes na literatura.