Deep learning-based posture recognition for a holistic ergonomic assessment framework

Abstract

Work-related musculoskeletal disorders (WRMSDs) are the most reported work-related health problem in the European Union, representing an economic burden equivalent to 2% of its gross domestic product. Several postural assessment tools try to identify ergonomic exposure factors for evaluating WRMSD risk, however, these are commonly based on observation. Thus, in an attempt to prevent WRMSD, it becomes crucial to quantify, automatise, but also complement posture risk assessment. This dissertation aims to develop a framework for a holistic and intuitive ergonomic assessment, able to, through inertial data, not only qualitatively identify posture but also to quantify the ergonomic risk, generating a report where the ergonomic score is associated with the postures adopted. This empowers the workers to comprehend which are the hazardous postures, and the ergonomists and line managers to possibly redesign the work tasks. The working postures of the two activity sectors most affected by WRMSDs were addressed as use cases, with the acquisition of an inertial dataset during the simulation of their typical tasks in circuit. The recognition of the postures performed was carried out by Deep Learning models. Different archi tectures were adapted and studied. The best results were achieved with a hybrid model that combines convolutional and recurrent layers, which attained an F1-score of 94.31% in the test. To better understand the models’ decisions, the explainability method Gradient-weighted Class Activation Mapping (Grad-CAM) was applied on the Convolutional Neural Network outputs. The continuous posture assessment, primarily based on a standard ergonomic method, also consid ered the previous postures’ impact on joint stress, by means of a kinematic wear index that can be used to define a safety threshold for how long joint angles can be maintained. As future work, the use of low-cost sensors in a self-developed smart garment and the integration of outlined haptic biofeedback strategies for the delivery of ergonomic haptic guidance are pointed out.

As Lesões Musculoesqueléticas Relacionadas com o Trabalho (LMERT) são o problema de saúde relacionado com o trabalho mais reportado na União Europeia, com um encargo económico de 2% do produto interno bruto. Diversas ferramentas de avaliação postural tentam identificar fatores de exposição ergonómica para avaliar o risco de LMERT, mas são geralmente baseadas na observação. Assim, torna-se vital, para prevenir LMERT, quantificar, automatizar e também complementar a avaliação do risco postural. Esta dissertação visa desenvolver uma framework para avaliação ergonómica e intuitiva, que, a partir de dados inerciais, identifique qualitativamente a postura e quantifique o risco ergonómico, gerando um relatório onde o resultado ergonómico é associado às posturas adotadas. Isto habilita os trabalhadores a compreender quais as posturas prejudiciais e os ergonomistas e gestores de linha a possivelmente redesenhar as tarefas de trabalho. As posturas de trabalho dos dois setores de atividade mais afetados por LMERT foram endereçadas, adquirindo um dataset inercial durante tarefas típicas destes em circuito. O reconhecimento das posturas executadas foi realizado por modelos de Deep Learning. Diversas arquiteturas foram adaptadas e estudadas. Os melhores resultados foram alcançados com um modelo híbrido que combina camadas convolucionais e recorrentes, que chegou a um F1-score de 94,31% no teste. Para entender melhor as decisões dos modelos, o método de explicabilidade Gradient-weighted Class Activation Mapping (Grad-CAM) foi aplicado nos outputs de uma rede neuronal convolucional (CNN). A avaliação postural contínua, baseada, em primeiro lugar, num método ergonómico padrão, também considerou o impacto das posturas prévias no stress articular, com um índice de desgaste cinemático, que pode definir um limite de segurança para o tempo que os ângulos das articulações podem ser mantidos. Como trabalho futuro, apontam-se o uso de sensores de baixo custo num vestível inteligente e a integração das estratégias de biofeedback háptico delineadas para ajudar a conduzir para a postura neutra.