Big Data and real-time knowledge discovery in healthcare institutions

Abstract

Nas instituições de saúde, a quantidade e complexidade dos dados gerados tornam a recolha, armazenamento, processamento e disponibilização de informações um processo desafiador. Com a crescente adoção de tecnologias, como registos eletrónicos de saúde, as instituições de saúde têm acesso a vastas quantidades de informações. Estes dados são provenientes de vários dispositivos que, por vezes, são incapazes de trocar informação entre si o que eleva a complexidade dos sistemas de informação. O uso de Big Data, Interoperabilidade e Cloud-Computing surgem como soluções promissoras para melhorar a eficiência e a eficácia dos sistemas de informação na área da saúde. Ajudam a fornecer informações em tempo real, melhorar a tomada de decisões clínicas e providenciar atendimento personalizado aos pacientes. Contudo, a falta de recursos sentida de forma transversal, aliada à complexidade do problema bem como da solução dificulta a aceitação e investimento por parte das instituições. Esta tese pretende mostrar que, sistemas desenvolvidos na cloud podem providenciar acesso a recursos computacionais poderosos e escaláveis sem a necessidade do assustador investimento inicial. Mais ainda, mostra-se que, a combinação do paradigma cloud com ferramentas de Big Data possibilita a informatização de sistemas a instituições de saúde de qualquer dimensão revelando um grande avanço para a partilha de dados e interoperabilidade de dados. O objetivo desta investigação é o desenvolvimento de um Software as a Service (SaaS) que, com a implementação de padrões de dados conhecidos na área da saúde, consiga interoperar com as fontes de dados das instituições de saúde. Este software deve ser adaptável aos novos modelos de trabalho (remoto e/ou híbrido), possibilitando a diminuição significativa de gastos em recursos humanos e materiais. Os resultados são extremamente promissores consistindo num software, adaptativo, escalável e modular que permite a customização a qualquer instituição de saúde. Apesar dos casos de estudos se encontrarem em diferentes estados de maturidade foram amplamente aceites pelos utilizadores.

In healthcare institutions, the amount and complexity of data generated makes it difficult to capture, store, process, and distribute information. With the increasing adoption of digital technologies such as electronic health records and other data sources, healthcare institutions have access to voluminous quantities of data. This data originates from a variety of devices that are sometimes unable to communicate with one another, thereby increasing the complexity of information systems. Consequently, Big Data and Interoperability are emerging as promising solutions for enhancing the efficacy and efficiency of healthcare information systems. They contribute to the provision of vital information in real time, the improvement of clinical and managerial decision-making, and the delivery of personalized, high-quality care to patients. However, the widespread lack of resources and the complexity of the issue and its solution make it challenging for institutions to accept and invest in them. This thesis aims to show that cloud-based systems can provide access to powerful and scalable computing resources without the need for a daunting initial investment. Furthermore, it is shown that the combination of the cloud paradigm with Big Data tools, such as Spark, enables the computerization of systems for healthcare institutions of any size, revealing a significant advance in data sharing and interoperability. Thus, the main objective of this investigation is the development of a generic SaaS that, with the implementation of widely known data standards in the healthcare field (Health Level Seven (HL7)), can interoperate with any source of data from healthcare institutions. It is also intended that this software be adaptable to new models of work (remote and/or hybrid), enabling a significant reduction in spending on human and material resources. The results are extremely promising, consisting of a generic, adaptive, scalable and modular software that allows adaptation to any healthcare institution, its professionals, patients and equipment. Although the case studies are in different stages of maturity, they were widely accepted by users.