Combined MRI with non-image clinical data for brain tumor classification: a CNN/DL approach

Abstract

Prognosis and patient stratification for brain tumors is an important and clinically relevant task and a precise treatment outcome prediction would allow to choose an adequate therapy strategy and schedule the most appropriate follow-up examinations. Magnetic Resonance Imaging (MRI) is an already know imaging technique to assess these tumors. Next to medical imaging, other clinical information is important for patient management, e.g. genetic markers like O6-Methyl-Guanine-Methyl-Transferase (MGMT) methylation is a well-known prognostic marker in Glioblastoma (GBM) tumors. Therefore, the main goal of this thesis was to study Deep Learning (DL) approaches to combine MRI with non-image clinical data in two different classification scenarios: brain tumor segmentation and patient outcome prediction. There are studies that combine these two types of data, however, in two steps: extracting MRI features and then combining them with relevant non-image data. Here, end-to-end DL architectures with two input layers are presented, as well as an infrastructure that allows the easy development of future Machine Learning (ML) /DL models that consumes these two types of data in a clinical context. In this way, the classification in both scenarios is done in a single step, where Convolution Layers perform the feature extraction in MRI input. In brain tumor segmentation, the model with combined data achieved a slightly better Dice Similarity Coefficient (DSC) (0.894 ± 0.025) over image only model (0.882 ± 0.025). As for patient outcome prediction, when trying to predict the Progression-Free Survival (PFS) class (“bad”,” medium” and “good” outcomes), the combined model didn't improve when compared with the model where only MRI was used. Both models, however, outperformed models where only non-image data was used. The segmentation results point to a positive influence when adding the clinical information to MRI. Nevertheless, there is a lot more to investigate in this field, not only in the model architecture, but also in selecting relevant clinical information. In same way, more tests should be run for patient outcome prediction, especially using Overall Survival (OS) information.

O prognóstico de pacientes com tumores cerebrais é uma tarefa importante e clinicamente relevante. Uma previsão precisa do resultado do(s) tratamento(s) permitiria escolher uma estratégia de terapia adequada e agendar os exames de seguimento mais apropriados. A Ressonância Magnética (RM) é uma técnica de imagem já conhecida na avaliação deste tipo de tumores. Outras informações clínicas como o marcador tumoral MGMT, são também relevantes no prognóstico de tumores de Glioblastoma (GBM). Neste sentido, o objetivo principal desta tese foi estudar modelos de Deep Learning (DL) para combinar imagens de RM com informação clínica e aplicá-los em dois cenários de classificação: segmentação de tumores cerebrais e previsão do prognóstico do paciente. Existem estudos que combinam estes dois tipos de dados, porém, em duas fases: extraindo atributos das imagens de RM e combinando-as posteriormente com informação clínica relevante. Contrariamente, aqui são apresentadas arquiteturas end-to-end de DL com duas camadas de entrada, assim como uma infraestrutura que permite um fácil desenvolvimento de modelos de Machine Learning (ML) / DL capazes de consumir estes dois tipos de dados num ambiente hospitalar. Desta forma, a classificação em ambos os cenários é feita em um único passo, onde camadas de convolução realizam a extração de características das imagens na entrada de MRI. No cenário de segmentação de tumores, o modelo que utilizou os dados combinados obteve um DSC (Dice Similarity Coefficient) de 0.894 ± 0.025, superando ligeiramente o modelo que usou apenas imagens de RM (0.882 ± 0.025). Quanto à previsão do prognóstico do paciente, classificando com a medida de Progression-Free Survival (PFS) (“bad”,” medium” e “good”) o modelo combinado não melhorou quando comparado com o modelo que apenas utilizou imagens de RM. Ambos os modelos, no entanto, superaram modelos que utilizaram apenas os dados clínicos. Os resultados da segmentação apontam para uma influência positiva na adição de informação clínica às imagens de RM. No entanto, ainda há muito a investigar neste campo, não apenas na arquitetura do modelo, mas também na seleção de informações clínicas relevantes. Da mesma forma, mais testes deverão ser executados para a previsão do prognóstico do paciente, especialmente usando a medida de Overall Survival (OS).