Community based repository for georeferenced traffic signs

Abstract

In traffic environments, road signs have a key role to control, warn, and command or prohibit the driver of certain actions. Traffic sign maintenance is essential to prevent negative events. In order for these traffic signs to play the role they were designed for, periodic onsite inspections are essential and followed out to determine if signs are in good condition and visible, both during the day and night. However, periodic inspections are time and cost consuming. Another issue is related to the drivers’ awareness to the traffic signs on the road. Many factors, both internal and external to the driver, may potentially contribute to him missing a sign. Given the purpose of this dissertation, we will focus primarily on the external factors such as the sign being damaged or occluded, or distractions caused by the many gadgets inside the vehicle. Due to all these extraneous influences, a traffic sign recognition system may help the driver to respect these signs and increase significantly their safety, as well as the others around them. Some high-end vehicles already have such a warning system, at least for danger signs. However, drivers with these vehicles represent a small fraction of the total driving force. This dissertation aims at bringing such a system to a much broader audience. Smartphones are one of the most used devices by society today, mostly due to the many functionalities they provide in day to day life and their relative accessible monetary value. The increased computational power and cameras’ quality improvement of these devices over the years make them good candidates to support the access to this kind of technology to all. In other words, smartphones of this day and age have the necessary resources to be used as instruments for sign recognition. Hence, we propose a dual purpose community based approach. On the one hand, each driver can use his mobile device to detect, recognize and geolocate traffic signs, contributing to the traffic sign central repository. Detection is performed using Cascade Classifiers, while a Convolutional Neural Network supports the recognition phase. The repository, based on the information received from the clients, can be used to provide sign status reports and to enable more direct and timely inspection instead of relying on prescheduled global inspections. On the other hand, drivers would have access to the database of traffic signs, therefore being able to receive real-time notifications regarding traffic signs such as speed limit signs, school proximity, or road construction signs. Hence, allowing the system to perform its function even if the recognition phase is not active when used in a low computational power device.

Em ambientes rodoviários, os sinais de trânsito têm um papel fulcral para controlar, avisar e ordenar ou proibir o condutor de realizar certas ações. É essencial a manutenção dos sinais de trânsito para prevenir acontecimentos negativos. Para que os sinais de trânsit desempenhem a sua função, as inspeções rodoviárias periódicas são essenciais para determinar se os sinais estão em bom estado e visíveis, quer de dia, quer de noite. No entanto, as inspeções são bastante dispendiosas. Outro problema está associado à consciência dos condutores em relação aos sinais de trânsito nas estradas. Muitos fatores, quer sejam eles internos ou externos, podem contribuir para um condutor não reparar num sinal, tal como a obstrução ou danificação do mesmo ou mesmo distração causado pelos gadgets dentro do veículo. Devido a todas estes influências, um sistema de reconhecimento de sinais de trânsito pode ajudar o condutor a respeitar estes sinais e aumentar significativamente a sua segurança e dos restantes em seu redor. Alguns veículos de alta gama já possuem este tipo de sistemas de alerta, pelo menos para sinais de trânsito. Porém, esses veículos representam uma pequena fração da força motriz total. Esta dissertação visa levar esse sistema a um público muito mais amplo. Os smartphones são um dos dispositivos mais usados pela sociedade nos dias de hoje, muito devido às funcionalidades que disponibilizam no dia-a-dia e seu valor monetário relativamente acessível. O aumento do poder computacional e melhoramento da qualidade da câmara destes dispositivos ao longo dos anos, fazem destes bons candidatos para suportar o acesso deste tipo de tecnologia a todos. Por outras palavras, os smartphones deste de hoje possuem os recursos necessários para serem usados como instrumentos para o reconhecimento de sinais. Portanto, propomos uma abordagem baseada na comunidade com um duplo propósito. Por um lado, cada condutor pode usar o seu dispositivo móvel para detetar, reconhecer e georeferenciar sinais de trânsito, contribuindo para um repositório centralizado. A deteção é realizada através de Cascade Classifiers, enquanto que uma Rede Neuronal Convolucional trata da fase de reconhecimento. O repositório, baseado na informação recebida por parte dos clientes pode ser usada para fornecer relatórios acerca do estado dos sinais, de modo a possibilitar inspeções mais diretas e atempadas em vez de inspeções globais pré-agendadas. Por outro lado, os condutores teriam acesso a uma base de dados de sinais de trânsito e portanto, permitindo criar notificações em tempo real sobre sinais de trânsito tais como sinais de limite de velocidade, proximidade de escolas ou sinais de construção de estradas.