A deep learning approach for quantification of brain characteristics using MRI

Abstract

Preterm birth is connected to impairments, altered brain growth and underdevelopment. Preterm infants have a high risk of problems related to cognition, socialization and behavior later in life since most part of their brain development is in extra-uterine conditions. By studying the anatomy of the brain, many disabilities can be found, and MRI brain scans are important in the identification of these details. Accordingly, the goal of this dissertation is the development of different Deep Learning (DL) approaches with the objective of quantifying the volumes of 8 brain tissues and other 5 descriptors, necessary for the prediction of social and cognitive disabilities. Without DL, the first step for this quantification is a previous segmentation of the studies. With DL, it is possible to quantify directly from the brain MRI scans, skipping the segmentation step. As data, two datasets were used: one with 86 studies of preterm patients around 30 weeks PMA and the other with 153 preterm patients around 40 weeks PMA. Non-image data was also needed for some ground truth descriptors. Three main procedures are performed: 2D approaches, 3D approaches using chunks of the brain and a 3D approach with full brains. Each approach consists of image processing techniques such as image cropping and downscale, a DL training and validation steps, prediction of unseen studies and, finally, statistical metrics combined with prediction vs ground truth graphs to assess the results. The 2D approaches allowed high correlation (a mean of 0.95 for the 8 tissues for the dataset at 30 weeks PMA and a mean of 0.98 for the 40 weeks one) and low normalized RMSE (respectively, a mean of 6.26% and 5.98% for the 8 tissues). The 3D approaches using (small) chunks allowed a slightly improvement on the prediction vs ground truth graphs and metrics for both datasets (respectively, a mean correlation of 0.97 and 0.98 and a mean normalized RMSE of 5.69% and 5.38%, for all tissues). Using full 3D brains only allowed good predictions for half of the descriptors. A second case study, using a dataset of MRI brain scans on rats (139 studies), was also executed in order to predict the volumes of 3 tissues. A 2D approach and a 3D approach were developed and the 2D one revealed to be the most accurate. These approaches are very similar to the ones developed for the neonatal brain.

Os nascimentos prematuros estão relacionados com deficiências, crescimento cerebral alterado e subdesenvolvimento. Os bebés prematuros têm um risco maior de ter problemas relacionados com cognição, socialização e comportamento mais tarde na vida, dado que a maior parte do seu desenvolvimento cerebral ocorre em condições extrauterinas. Ao estudar a anatomia do cérebro, muitas deficiências podem ser detetadas, e os exames cerebrais de ressonância magnética são importantes na identificação desses detalhes. Nesse sentido, o objetivo desta tese é o desenvolvimento de diferentes abordagens de Deep Learning (DL) com o objetivo de quantificar os volumes de 8 tecidos cerebrais e de outros 5 descritores, necessários para a previsão de deficiências cognitivas e sociais. Sem DL, o primeiro passo para esta quantificação e uma segmentação prévia dos studies. Com DL, é possível quantificar diretamente a partir dos exames de ressonância magnética do cérebro, ignorando o passo da segmentação. Como material, foram utilizados dois conjuntos de dados: um com 86 studies de pacientes pré-termo por volta das 30 semanas de idade pós-menstrual (PMA) e outro com 153 pacientes pré-termo por volta de 40 semanas IPM. Material não-imagem também foi necessário como ground truth para alguns descritores. Três abordagens principais são executadas: abordagens 2D, abordagens 3D usando pedaços de cérebro e uma abordagem 3D com cérebros inteiros. Cada método consiste em técnicas de processamento de imagem tais como cortes de imagem e redução de tamanho da mesma, passos de treino e validação em DL, previsão de studies nunca vistos e, finalmente, métricas de estatística combinadas com gráficos previsão vs ground truth para avaliar os resultados. As abordagens 2D permitiram uma correlação alta (média de 0.95 para os 8 tecidos para o dataset de 30 semanas PMA e uma média de 0.98 para o de 40 semanas PMA) e um baixo RMSE normalizado (respetivamente, uma média de 6.26% e 5.98% para os 8 tecidos). As abordagens 3D usando pedaços (pequenos) permitiram uma ligeira melhoria nas métricas para os dois conjuntos de dados (respetivamente, uma correlação de 0.97 e 0.98 e um RMSE normalizado médio de 5.69% e 5.38% para todos os tecidos). Usando cérebros 3D inteiros permitiu boas previsões para metade dos descritores. Um segundo caso de estudo, usando um dataset com exames de ressonância em cérebros de ratos (139 studies), foi também executados no sentido de prever os volumes de 3 tecidos. Um método 2D e um 3D foram desenvolvidos e o 2D revelou ser mais preciso. Estes métodos são muito semelhantes aos que foram desenvolvidos para o cérebro neonatal.