Automatic detection of daily living activities in people with Parkinson’s disease using kinematic-driven data

Abstract

Parkinson’s Disease (PD) is a neurodegenerative disorder of the central nervous system. Resting tremor, akinesia, and bradykinesia (slow movements), rigidity, shuffling walking, and postural instability are some of the symptoms that not only negatively impacts patients’ life, but also the life of people around them. Current approaches for monitoring patients’ motor autonomy are limited to the observer and self reported methods. The observer-based examinations, patients perform a set of standard PD examinations. The self-reported method relies on patients’ daily activities diaries. These approaches are commonly used, but are limited to a few sessions per year, they do not address common motor daily tasks, and their results are object of subjective interpretation by the clinical expert. By combining kinematic-driven data from wearable sensor with AI, the main goal of this dissertation is to develop an automatic software for recognition of human activities (e.g., walking, standing, turning, sitting, and lying) in PD to assist the clinical experts with objective and concrete data. A data collection protocol was developed and captured, resulting in a database comprised of data collected from eighteen PD patients who performed three trials of six different daily activities: walk; 180º turning; sit on chair; get up from chair; lay on bed and get up from bed. A Deep Learning (DL) framework based on Convolutional Neural Network capable of recognizing daily activities was developed and attained a performance of F1 Score equal to 0.90892. As a complementary goal an automatic software for human walk initial contact (IC) and final contact (FC) recognition using kinematic data was also developed. IC and FC are tremendously important to provide patient on-demand motor assistance and estimation of walking-associated metrics. A Deep Learning framework based on Bidirectional Long Short-Term Memory Neural Network capable of walking IC/FC events detection was developed and attained a performance of MCC Score equal to 0.538386. Promising results were attained for both DL frameworks, however, this dissertation suggests that there is still room for further improvements. Enriching the dataset with more data from different patient, data balancing and feature extraction techniques, experimenting new models’ architectures should be considered in future works.

A Doença de Parkinson (DP) é uma doença neurodegenerativa do sistema nervoso central. O tremor em repouso, acinesia e bradicinesia (movimentos lentos), rigidez, marcha e postura instável são alguns dos sintomas que afetam negativamente a vida dos pacientes e também as pessoas à sua volta. As monitorizações da autonomia motora dos pacientes estão limitadas aos métodos presenciais e auto-relatados. Em exames presenciais, os pacientes realizam um conjunto de exames padrão de DP. O método auto-relatado baseia-se nas agendas de atividades diárias dos pacientes. Estas abordagens são comuns, mas são limitadas a algumas sessões por ano, não abordam tarefas motoras diárias comuns, e os seus resultados dependem da interpretação subjetiva do perito clínico. O principal objetivo desta dissertação é desenvolver um software automático para e reconhecimento de atividades humanas (por exemplo, andar, estar em pé, virar, sentar e deitar) na DP, que combine dados cinemáticos de sensores vestíveis com inteligência artificial para ajudar os especialistas clínicos a obterem dados objetivos e concretos. Foi desenvolvido um protocolo de recolha de dados, resultando numa base de dados constituída por dados recolhidos de dezoito pacientes de DP que realizaram três ensaios de seis atividades diárias diferentes: caminhar; virar 180º; sentar-se na cadeira; levantar-se da cadeira; deitar-se na cama e levantar-se da cama. Foi desenvolvida uma estrutura de Deep Learning (DL) baseada em Convolutional Neural Network capaz de reconhecer as atividades diárias e atingir um desempenho de F1 score igual a 0,9089. Como objetivo complementar, foi também desenvolvido um software automático para o reconhecimento do contacto inicial (CI) e final (FC) do andar humano, utilizando dados cinemáticos. O CI e a CF são tremendamente importantes para fornecer assistência motora em tempo real e estimativa da métrica associada à marcha do paciente. Foi desenvolvida uma estrutura de DL baseada em Bidirectional Long Short-Term Memory Neural network capaz de detetar eventos de IC/FC durante o andar e atingir um desempenho MCC score igual a 0,5384. Foram alcançados resultados promissores para ambas as estruturas DL, contudo, esta dissertação sugere que ainda há espaço para mais melhorias. Enriquecer o conjunto de dados com mais dados de diferentes pacientes, técnicas de balanceamento de dados e extração de características, experimentar modelos com diferentes arquiteturas deve ser considerado em trabalhos futuros.