Development of a deep learning-based algorithm to predict pneumonia cases fram chest X-ray images

Abstract

Interstitial lung diseases (ILD) are defined as a set of more than 200 pulmonary disorders. Among these, the ones broadly termed as pneumonia represent a major cause of morbidity and mortality in the world. The chest radiograph (CXR) was the first x-ray based lung imaging technique to emerge and is still widely used as a diagnostic method for pneumonia and other lung diseases. However, correct interpretation of CXR requires analysis by experts and stays vulnerable to errors and observer-related variation. To counteract these problems, artificial intelligence (Al) methods have been applied for the automated analysis of CXR and other medical images. The deep learning (DL) branch of AI and in the particular the methods based on convolutional neural networks (CNN), recently obtained impressive results in these tasks. This dissertation presents a DL approach to classify pneumonia from medical CXR image datasets. Two different models based on the development of CNN were trained from a preprocessed dataset of CXR images obtained from 8562 individuals classified as normal (n=7214) or with pneumonia (n=1348) (Dataset XP1’). Model 1 applied a normal cross entropy loss function, and model 2 an alternative loss function aiming at counteracting the unbalance in normal/pneumonia class frequency. For performance enhancing both models underwent a hyper optimization procedure. The optimized model 1 and 2 were tested on a test set from PI'. To better understand the predictability and generalization potential we then tested both models on an unrelated test set of 624 images (Dataset XP2). Interestingly, model 1 obtained better performance when tested on XP2 than in XP1', scoring an accuracy of 85%, recall of 93% and precision of 85% for the detection of the pneumonia class. The higher homogeneity present on dataset XP2 compared with dataset XP1' could be a plausible justification. As for model 2, it correctly predicted more pneumonia cases an test set XP1' than model 1. However, on test set XP2 the results were poor, predicting most cases as pneumonia and scoring a recall value of only 26% for the pneumonia class. Testing the DL models on unseen data is a relevant but not always performed validation. Overall, the higher accuracy, recall and precision levels of model 1 in XP2 suggests it has a higher potential to be applied for real-word application although its performance should be further improved and evaluated. This work opened promising new lines of research for the future development of a high-performance CNN-based automated method to classify CXR and assist in the diagnostic of pneumonia.

Doenças intersticiais pulmonares são definidas como um conjunto de mais de 200 doenças pulmonares. Dentro deste grupo de doenças, as doenças denominadas como pneumonia ou pneumonite representam uma condição inflamatória que afecta o interstício pulmonar e representam uma das principais causas de morbidade e mortalidade no mundo. A radiografia torácica foi a primeira técnica de imagiologia pulmonar baseada em raios-x a surgir sendo, ainda amplamente utilizada como método de diagnóstico de pneumonia e outras doenças pulmonares. No entanto, a correcta interpretação de radiografias torácicas requer uma análise de pessoal especializado e encontra-se vulnerável a erros e variações relacionadas com o observador. De modo a contrariar estes problemas, métodos de inteligência artificial têm sido aplicados na análise automatizada de radiografias torácicas e outro tipo de imagens médicas. Métodos de "Deep Iearning" e em particular, métodos baseados em redes neuronais convolucionais, obtiveram recentemente resultados impressionantes quando aplicados nesta área de estudo. Esta dissertação apresenta uma abordagem de "deep learning" que permite classificar imagens de pneumonia a partir de "datasets" de radiografias torácicas. Dois modelos diferentes baseados no desenvolvimento de redes neuronais convolucionais foram treinados a partir de um "dataset" preprocessado de radiografias torácicas obtido a partir de 8562 indivíduos classificados como normais (n=7214) ou como doentes de pneumonia (n=1348) ("Dataset" XP1'). Ao modelo 1 foi aplicada uma função "loss" de entropia cruzada normal, e ao modelo 2 foi aplicada urna função "loss" alternativa que visa contrariar o desbalanceamento entre casos normais e de pneumonia presente no "dataset XP1’”. Para melhorar o desempenho, ambos os modelos foram submetidos a um procedimento de hiper optimização. Os modelos 1 e 2 otimizados foram de seguida testados no conjunto de teste do "dataset XP1’. Para entender melhor a capacidade de previsão e generalização, os dois modelos foram também testados num conjunto de teste não relacionado de 624 imagens (Dataset XP2). Curiosamente, o modelo 1 obteve melhor desempenho quando testado no XP2 do que no XP1', obtendo uma "accuracy" de 85%, sensibilidade de 93% e precisão de 85% durante a deteção de casos de pneumonia. A maior homogeneidade de informação presente no XP2 em comparação com o XP1', é vista como a justificação mais plausível. Quanto ao modelo 2, ele previu correctamente mais casos de pneumonia no XP1 do que o modelo 1. No entanto, quando testado no XP2, os resultados ficaram abaixo das expectativas, prevendo a maioria dos casos como pneumonia e obtendo um valor de sensibilidade de apenas 26% para a classe de pneumonia. Testar os modelos de "deep learning" em dados não relacionados é uma técnica de validação relevante, no entanto nem sempre é realizada. Os níveis elevados de precisão, sensibilidade e "accuracy" do modelo 1 quando aplicado no XP2 sugerem que possuí um grande potencial de utilização em aplicações de carácter real, no entanto, o seu desempenho pode ainda ser melhorado. Este trabalho abriu novas e promissoras vias de pesquisa para o desenvolvimento futuro de um método automatizado baseado em CNN de alto desempenho que sela capaz de classificar radiografias torácicas e auxiliar no diagnóstico de pneumonia.