Reconhecimento de voz multilingue para controlo de procedimentos endoscópicos

Abstract

Os exames endoscópicos são prescritos em grandes quantidades, pois são eficazes no diagnóstico, baratos quando comparados com outros exames e estarem generalizados há muito tempo, pois podem ser realizados em quase todos os hospitais. O resultado deste exame é normalmente um relatório que inclui anotações médicas complementadas com algumas imagens retiradas durante o exame. Alguns dos exames realizados são apenas feitos para confirmar informação já recolhida, o que leva a uma duplicação de esforços desnecessária e desperdício de recursos. Os profissionais de saúde podem descartar informação relevante ao não conseguirem anotar em pormenor uma região de interesse para posterior análise mais cuidada. O objetivo deste trabalho consiste na criação de um sistema que consiga resolver o problema apresentado anteriormente, usando tecnologia de reconhecimento de voz. Este sistema deve reconhecer um pequeno vocabulário, independentemente do falante, usado para anotar regiões de interesse nos exames. O sistema MyEndoscopy atua como uma cloud privada, que contém vários dispositivos que usam e providenciam serviços entre si. O dispositivo central deste sistema é a MIVbox, que se liga ao endoscópio e permite a captura digital do sinal de vídeo que este gera. A principal funcionalidade providenciada por este sistema é a capacidade de armazenar indefinidamente os vídeos completos que são produzidos durante exames endoscópicos, bem como disponibilizar estes vídeos e outros dados para outros profissionais de saúde que os necessitem de consultar. Nesta dissertação apresenta-se um módulo de reconhecimento de voz para línguas portuguesa e inglesa, denominado MIVcontrol, totalmente integrado no sistema MyEndoscopy. Este módulo reconhece um pequeno vocabulário, que consiste em comandos usado para controlar os outros módulos. O MIVcontrol é apresentado como uma alternativa a sistemas similares baseados na cloud, que resolve certos problemas relacionados com proteção de dados e segurança. Foi realizado um estudo sobre o módulo desenvolvido para determinar a sua eficácia em comparação ao estado da arte. Na sequência desse estudo conclui-se que o sistema tinha uma taxa de erro comparável a sistemas similares para outras línguas, e que como resultado é passível de ser usado em ambientes reais.

Endoscopic procedures are prescribed in large quantities, since they are effective in diagnostics, cheap when compared to other exams and are generalized for a long time, as almost all hospitals can perform them. The result produced by this exam is usually a report which includes medical annotations, complemented with some images produced during the exam. Some exams have as only purpose confirming previously gathered information, which leads to unnecessary duplication of effort and waste of scarce resources. Health professionals might discard important information if they can not mark with a reasonable detail level certain interesting regions, for further analysis. The objective of this thesis consists in creating a system that is able to solve the problem posed before, using voice recognition technology. This system should be able to recognize a small vocabulary, speakerindependent, used to annotate interesting regions during endoscopic exams. The MyEndoscopy system acts as a private cloud, which contains several devices that both use and provide services. The central device of this system is the MIVbox, which connects to the endoscope and allows capturing the digital video signal it generates. The main functionality provided by the system is the ability of indefinitively store the complete video files produced during endoscopic procedures, as well make these videos and other data available to other healthcare professionals who need them. In this thesis it is presented a voice recognition module for Portuguese and English, named MIVcontrol, completely integrated in the MyEndoscopy system. This module recognizes a small vocabulary which consists of commands used to control other modules of the system. MIVcontrol is presented as an alternative to similar cloud-based systems, which solves certain problems related to data protection and security. The module was studied to determine its efficiency compared to the state-of-the-art. That study concluded that the system had an error rate comparable to that of other similar systems developed for other languages, and thus can be used in the field.