Driver monitoring systems of fatigue based on eye tracking

Abstract

Nowadays, road deaths as well as the injuries and monetary losses has become a global crisis. One of the main causes of road accidents is related to driver fatigue caused by sleep deprivation or disorders, being present in about 20% of accidents. Therefore, there is a growing interest in developing equipments capable to detect driver’s drowsiness to avoid potential accidents. In order to detect driver’s drowsiness, several private and public entities from around the world have been working on different technologies. Eye tracking technologies are prominent as it allows a non-intrusive monitoring of driver state. This dissertation integrates a project, which is designed to develop new features for the car’s cockpit of future. In this master’s thesis was intended to develop an algorithm, in which through the provided variables of the eye tracking system of the company Smarteye, can detected symptoms of fatigue of the driver early enough in order to avoid accidents. The development of the algorithm involves the study of Machine Learning (ML) methods able to recognize a pattern related to drowsiness. For this purpose it was necessary to create a database so that it was possible to extract relevant information for the training of the implemented ML models. The parameters provided by eye tracker were collected from volunteers who performed tests in a simulator (DSM - Driver Simulator Mockup). During each test, the participant had to respond to the KSS questionnaire to evaluate the level of fatigue. Having the database, it was necessary to apply it in the training of the Machine Learning models for pattern recognition using the algorithms Multilayer Perceptron (MLP), Deep Belief Networks (DBN), Support Vector Machines (SVM), Radial Basis Function (RBF) and compare between them using performance evaluation methods, such as accuracy, specificity, and sensitivity. In this dissertation it was intended to answer the following questions: 1- Has machine learning the potential to measure the driver’s drowsiness using eye tracking technology? 2- What are the performance of the MLP-BP, RBF, DBN and SVM (machine learning) methods on driver’s drowsiness detection? 3- Which facial features from eye tracking are more related with drowsiness? The results in this dissertation shown that the used Machine Learning models have great performance especially the Multilayer Perceptrons classifier where the facial features PERCLOS and Eyelid Opening were fundamental parameters for the estimation of the driver’s state. These results allow to claim that the eye tracking system together with the algorithm developed are a option to detect driver fatigue, and so, the research on this field should continue so that a final product can contribute to the increase road safety and hence the prevention of driving accidents.

Nos dias de hoje, as mortes na estrada, bem como os feridos e as perdas monetárias tornaram-se numa crise global. Uma das principais causas dos acidentes de viação está relacionada com o cansaço do condutor provocado pela privação ou distúrbios de sono, estando presente em cerca de 20% dos acidentes. A fim de detetar sonolência enquanto alguém está a conduzir, várias entidades privadas e públicas de todo o mundo têm trabalhado em diferentes tecnologias. As tecnologias de eye tracking são proeminentes, uma vez que permitem monitorizar o estado do motorista de forma não intrusiva. Nesta tese de mestrado pretendeu-se desenvolver um algoritmo em que, através das variáveis fornecidas pelo sistema eye tracking da empresa Smarteye, se possa detetar sintomas de fadiga do condutor com antecedência a fim de evitar acidentes. O desenvolvimento do algoritmo passa pelo estudo de métodos de Machine Learning (ML) capazes de reconhecer um padrão relacionado com a sonolência. Para esse efeito foi necessário a criação de uma base de dados para que fosse possível extrair informação relevante para o treino dos modelos implementados de ML. Os parâmetros fornecidos pelo eye tracker foram adquiridos a partir de voluntários que realizaram testes dentro de um simulador (DSM - Driver Simulator Mockup). Tendo a base de dados, foi necessário aplicá-la no treino dos modelos de Machine Learning para o reconhecimento de padrões usando os algoritmos Multilayer Perceptron (MLP), Deep Belief Network (DBN), Support Vector Machines (SVM), Radial Basis Function (RBF) e compará-los entre eles, usando métodos reconhecidos de avaliação de performance, como a precisão, especificidade e sensibilidade. Nesta dissertação procurou-se responder às seguintes questões: 1- A área de Machine Learning tem potencial para reconhecer sonolência no condutor usando a tecnologia de eye tracking? 2- Quais são os desempenhos dos modelos MLP-BP, DBN, RBF e SVM na deteção de sonolência no condutor? 3- Quais são os parâmetros faciais provenientes do eye tracking com maior correlação com a sonolência? Os resultados desta dissertação mostraram que os modelos de Machine Learning utilizados têm grande desempenho especialmente o classificador Multilayer Perceptrons onde as características faciais PERCLOS e Eyelid Opening foram parâmetros fundamentais para a estimação do estado do condutor. Estes resultados permitem afirmar que o sistema de eye tracking juntamente com o algoritmo desenvolvido são uma opção para detetar fadiga do condutor, e portanto a investigação nesta área deve continuar de modo a que se chegue a um produto final que possa contribuir para o aumento da segurança rodoviária.