Study of attention mechanisms and ensemble methods for medical image semantic segmentation

Abstract

Nowadays, the development of medical care and the improvements in medical imaging techniques ensure a better diagnosis capability and a better identification of health problems of difficult treatment. Time is a critical factor for medical diagnosis, and early detection and evaluation can potentially add years to a patient’s life. Over the past years, automatic medical image segmentation has proven to be a viable and robust method to overcome the large costs of human resources and the intra- and inter-rater variabilities associated with manual segmentation. Deep Learning methods are providing exciting solutions with good accuracy in the context of medical image segmentation, and they are seen as key for future applications in the health sector. This dissertation focuses on Deep Learning-based methods for automatic segmentation in two medical imaging tasks, namely, retinal blood vessel segmentation and brain tumor segmentation. Cancer and ocular diseases affect a large part of the population. Most people have eye problems at one time or another in life, and brain tumors stand out by having one of the highest mortality rates among cancers. In particular, we employed alternative ensemble techniques, Stochastic Weight Averaging and Fast- Stochastic Weight Averaging for retinal blood vessel segmentation. Ensemble methods have shown to improve the performance in several applications, but at the same time increasing the complexity of the training and the time required for the prediction. So, we investigate these alternative ensemble techniques, which mitigate those limitations by exploring the weight space of the network to compose the ensemble. The proposed method was evaluated on three publicly available databases, widely used in the retinal vessel segmentation area: DRIVE, STARE, and CHASE_DB1. The results showed that stochastic weight averaging successfully explores the network’s weight space, finding a solution with better generalization. To sum up, the proposed method achieved competitive results, concluding that it is capable of improving the generalization performance in retinal vessel segmentation. Additionally, we proposed an attention mechanism with adaptive-scale context for brain tumor segmentation. We employed an encoder-decoder fully convolutional network based hierarchical approach coupled with an attention block that captures multi-scale information by processing parallel branches with different scales. Our attention block is modular, being able to be easily incorporated into other existing network architectures to increase their representational power. The method was tested with the publicly available database from Multimodal Brain Tumor Segmentation Challenge 2017: MICCAI BraTS 2017 allowing also an evaluation performed by its online platform. The results showed the benefits of this attention mechanism, being the best configurations of the attention block competitive with the state-of-the-art for brain tumor segmentation.

Atualmente, o desenvolvimento dos cuidados médicos aliado ao aperfeiçoamento das técnicas de imagiologia médica garantem uma melhor capacidade de diagnóstico e uma melhor identificação dos problemas de saúde de difícil tratamento. Nos últimos anos, a segmentação automática de imagens médicas provou ser um método viável e robusto para superar a necessidade de recursos humanos e as variabilidades inter- e intra-especialista associadas à segmentação manual. Os métodos de aprendizagem profunda estão fornecendo soluções interessantes com boa precisão no contexto da segmentação de imagens médicas, e são vistos como fundamentais para futuras aplicações no setor da saúde. A presente dissertação tem como finalidade o desenvolvimento de métodos de Deep Learning para dois problemas de segmentação automática de imagem médica, nomeadamente, a segmentação de vasos sanguíneos da retina e segmentação de tumores cerebrais. O cancro e as doenças oculares afetam uma grande parte da população. A maioria das pessoas tem problemas de visão em alguma fase da vida, e os tumores cerebrais destacam-se dos demais tipos de cancro por terem elevada taxa de mortalidade. Para a segmentaçao de vasos da retina o método proposto é baseado na média estocástica dos pesos. Os métodos de ensemble têm demonstrado melhorar o desempenho em várias aplicações mas, simultaneamente, aumentam a complexidade do treino e o tempo necessário para a previsão. Assim, exploramos duas técnicas alternativas de ensemble, que mitigam estas limitações explorando o espaço de pesos da rede para compor o ensemble. O método proposto foi avaliado em três bases de dados públicas e amplamente reconhecidas na área da segmentação de vasos da retina: DRIVE, STARE e CHASE_DB1. Os resultados mostram que o método explora com sucesso o espaço de peso da rede, encontrando uma solução com melhor generalização. Em resumo, o método proposto obteve resultados competitivos, concluindo que este é capaz de melhorar o desempenho na segmentação dos vasos retinianos. Adicionalmente, foi proposto um mecanismo de atenção com contexto de escala adaptativa para a segmentação de tumores cerebrais O método proposto é baseado numa abordagem de segmentação hierárquica utilizando redes totalmente convolucionais e blocos de atenção que capturam informaçao multi-escala através do processamento de ramos paralelos com diferentes escalas. O bloco de atençao proposto é modular, podendo facilmente ser incorporado noutras arquiteturas existentes para aumentar o seu poder de representação. Para avaliaçao da metodologia proposta recorreu-se da base de dados pública Multimodal Brain Tumor Segmentation Challenge 2017: O MICCAI BraTS 2017 que permitiu a validação dos resultados realizada pela sua plataforma online. Os resultados mostram os benefícios desse mecanismo de atenção, sendo as melhores configurações do bloco de atenção competitivas com o estado-da-arte na segmentação de tumores cerebrais.