Automatic segmentation and classification of brain tumors based on multisequence MRI images with deep learning methods

Abstract

Gliomas are the most common primary brain tumors. Unfortunately, these neoplasms hold the worst prognosis among all brain tumors, as well. They can be broadly categorized as low or high grade gliomas. Magnetic Resonance Imaging is the standard imaging technique for their assessment. Using it, physicians can extract measurements that are crucial for treatment planning and follow-up. Notwithstanding, manual segmentation is time-demanding and prone to variability. Also, tumor grading by biopsy is very important, but it is invasive, and prone to sampling error. Therefore, automatic approaches for both segmentation and grading are needed. However, these tasks are quite challenging due the the heterogeneity of gliomas, as well as the variability among Magnetic Resonance Imaging scans. This makes it difficult to model brain tumors from prior knowledge. Machine Learning algorithms can learn how to perform a task directly from the data. Some of these algorithms may be categorized as Representation Learning if they can learn features directly from the data. Among these methods, Deep Learning is a group of Representation Learning algorithms that learn multiple levels of representations. In the past years, Deep Learning-based methods have shown remarkable performances. Hence, the aim of this work was to investigate Deep Learning methods, and use them for the automatic segmentation and grade classification of brain tumors in multisequence structural Magnetic Resonance Imaging. Additionally, an often cited setback of these complex models is their “black box” behavior. Thus, in this work we also studied interpretability of Machine Learning algorithms applied to medical imaging. Therefore, we built our work on: brain tumor image analysis in Magnetic Resonance Imaging, Machine Learning with focus on Representation Learning, and its interpretability. We investigated Convolutional Neural Networks for the task of segmentation. As a starting point, we studied a classification Convolutional Neural Network. We were able to show its effectiveness, as well as the importance of careful pre-processing. However, afterwards we adopted a more efficient Fully Convolutional Network approach. In this setting, we proposed a hierarchical approach for dealing with class imbalance. Finally, the relationships among channels of feature maps were studied. We proposed and showed the benefits of recombination and recalibration of feature maps in the context of Fully Convolutional Networks for semantic segmentation. Automatic glioma grading from structural Magnetic Resonance Imaging images is challenging due to their large heterogeneity. Additionally, a tumor mass must be graded as a whole. Therefore, we propose 3D Convolutional Neural Networks for automatic glioma grading. Since Convolutional Neural Networks learn features directly from the data, it allows one to bypass the need for a very accurate segmentation that is often seen in radiomics-based approaches, which use hand-crafted features. “Black box” systems may pose trusting issues when deployed in critical domains, such as the medical field. This is due to professionals not being able to explain certain predictions. Therefore, interpretability of machine learning systems is a crucial field of research, given the high performances currently achieved with these systems. We first investigated this topic in a Restricted Boltzmann Machine and Random Forest classifier system in the context of segmentation. We proposed methodologies for both global and local interpretability. The former is targeted at understanding if the system learned the relevant relations in the data, while the latter is focused on explaining individual predictions. We were able to confirm if the system learned correct patterns, but we also found a bias in the database. Later, we employ interpretability methodologies to inspect the 3D Convolutional Neural Network for glioma grading. With it, we were able to catch and correct an issue during pre-processing. Hence, we provide tools and study cases that show how interpretability not only helps in increasing trust, but it may also be useful during the development cycle. Finally, all methodologies developed in this work were validated in publicly available databases. This ensures a fair comparison with the state of the art. Additionally, it enables future work to be directly compared with us.

Os gliomas são os tumores cerebrais primários mais frequentes. Infelizmente, estas neoplasias são também as que que têm os priores prognósticos entre os tumores cerebrais. Estes podem ser categorizados em gliomas de baixo ou de alto grau. A Imagem por Ressonância Magnética é a técnica imagiológica padrão para avaliar tumores cerebrais. Desta forma, os médicos podem extrair medições que são da maior importância para o planeamento do tratamento e para monitorização. Não obstante, a segmentação manual das imagens é um processo demorado e suscetível a variabilidade. A classificação dos gliomas quanto ao seu grau através de biópsia é também muito importante, mas é um processo invasivo, e suscetível a erros de amostragem. Assim sendo, são necessárias abordagens automáticas para ambas as tarefas. Contudo, são problemas bastante complexos devido à heterogeneidade dos gliomas, mas também devido à variabilidade das imagens de Ressonância Magnética. Isto faz com que seja difícil modelar os tumores cerebrais a partir de conhecimento a priori. Os algoritmos de Aprendizagem Automática conseguem aprender a executar uma determinada tarefa diretamente a partir dos dados. Alguns destes algoritmos podem ser categorizados como Aprendizagem de Características se forem capazes de aprender características diretamente a partir dos dados. Entre estes métodos, Aprendizagem Profunda é um grupo de algoritmos de Aprendizagem de Características que aprendem múltiplos níveis de características. Nos últimos anos, métodos baseados em Aprendizagem Profunda têm mostrado desempenhos notáveis. Assim, um dos objetivos deste trabalho foi a investigação de Aprendizagem Profunda no contexto de segmentação. Um segundo objetivo foi explorar Aprendizagem Profunda para a classificação automática dos graus dos gliomas a partir de Imagem por Ressonância Magnética estrutural. Finalmente, um problema que é muitas vezes apontado a estes modelos complexos é a sua natureza de “caixa preta”. Assim sendo, neste trabalho também foi investigada a interpretabilidade de sistemas de Aprendizagem Automática. Portanto, há três grandes temas sobre os quais nós construímos o nosso trabalho: análise de imagem de tumores cerebrais em Imagem por Ressonância Magnética, Aprendizagem Automática com foco em Aprendizagem de Características, e interpretabilidade. Foram investigadas Redes Neuronais Convolucionais para a tarefa de segmentação. Como ponto de partida, nós estudamos Redes Neuronais Convolucionais para classificação. Assim, conseguimos mostrar a sua eficácia, tal como a importância de um pré-processamento cuidadoso. Contudo, posteriormente, nós adotamos uma abordagem mais eficiente denominada por Redes Totalmente Convolucionais. Com esta nova rede, nós propusemos uma abordagem hierárquica que nos permitiu lidar melhor com o desbalanceamento de classes. Por fim, as relações entre os canais dos mapas de características foram estudadas. Nós propusemos e mostrámos as vantagens da recombinação e recalibração dos mapas de características no contexto de Redes Totalmente Convolucionais para segmentação semântica. A classificação automática do grau dos gliomas a partir de Imagem por Ressonância Magnética estrutural é complexa devido à sua grande heterogeneidade. Adicionalmente, uma massa tumoral deve ser classificada como um todo. Assim sendo, nós propusemos Redes Neuronais Convolucionais 3D para a classificação automática do grau dos gliomas. Uma vez que as Redes Neuronais Convolucionais aprendem características diretamente a partir dos dados, é possível evitar a necessidade de uma segmentação muito precisa, tal como é comumente observado nas abordagens mais tradicionais baseadas em radiomics. Os sistemas “caixa preta” podem colocar problemas relacionados com confiança quando são colocados em domínios críticos, como é o caso do campo da medicina. Isto deve-se aos profissionais não serem capazes de explicar certas predições. Assim sendo, a interpretabilidade de sistemas de Aprendizagem Automática é uma área de investigação crucial, dado os elevados desempenhos atualmente atingidos com estes sistemas. Nós investigamos este tópico inicialmente com um sistema constituído por uma Restricted Boltzmman Machine e um classificador Random Forest no contexto de segmentação. Nós propusemos metodologias para interpretabilidade global e local. A primeira está direcionada para se perceber se o sistema aprendeu relações relevantes nos dados, enquanto a última foca-se mais em explicar predições individuais. Nós conseguimos confirmar se o modelo aprendia padrões corretos, mas também conseguimos encontrar um enviesamento na base de dados. Posteriormente, também aplicamos metodologias de interpretabilidade para inspecionar a Rede Neuronal Convolucional 3D para classificação do grau dos gliomas. Assim, conseguimos identificar e corrigir um problema durante o pré-processamento. Desta forma, nós fornecemos ferramentas e casos de estudo que mostram como a interpretabilidade é útil não só para aumentar a confiança, mas também durante o ciclo de desenvolvimento. Finalmente, todas as metodologias desenvolvidas neste trabalho foram validadas em bases de dados publicamente disponíveis. Isto garante uma comparação justa com o estado da arte. Adicionalmente, isto permite que trabalhos futuros possam ser diretamente comparados com os nossos métodos.