Deep learning for semantic segmentation in multimodal medical images : application on brain tumor segmentation from multimodal magnetic resonance imaging
Apprentissage profond pour la segmentation sémantique d'images médicales multimodales : applications à la segmentation des tumeurs cérébrales à partir d'images IRM multimodales
Résumé
In this thesis, we develop four deep learning based brain tumor segmentation methods with multimodal MRI images. The first two methods focus on the segmentation with complete modalities, and the last two methods aim to tackle the segmentation with missingmodalities. We first present a multi-modal brain tumor segmentation network based on attention mechanism to fuse MRI images and context constraint to limit segmentation regions. Considering the correlation between different MR modalities, we propose a second method to model this correlation in the feature latent space with a non-linear model and KL divergence in order to fuse images in an efficient way. This method uses a novel tri-attention fusion block which consists of a modality attention module, a spatial attention module, and a correlation attention module. Since it’s common to have missing imaging modalities in clinical practice, we propose two methods for brain tumor segmentation with missing MR modalities. The correlation between multimodal MRI images is exploited again to maintain the information of the missing images. In the first method, the network is trained with complete modalities via multi-source correlation, and tested with missing modalities in which the missing modalities are replaced by the most similar ones. To retrieve more precisely the lost information when modalities are missing, we proposed a second method to generate a feature-enhanced missing modality under the multi-source correlation condition. In addition, a KL divergence is applied to guarantee the similarity between the estimated correlated feature representation and the original feature representation. We evaluated these proposed methods on public multi-modal brain tumor segmentation datasets and demonstrated the effectiveness of these proposed methods.
Dans cette thèse, nous développons quatre méthodes de segmentation des tumeurs cérébrales à partir d'images IRM multimodales, basées sur l'apprentissage profond. Les deux premières méthodes se concentrent sur la segmentation tumorale avec des modalités complètes. Tandis que les deux dernières méthodes réalisent la segmentation lorsque certaines modalités sont manquantes. Nous présentons d'abord le premier réseau de neurones profond pour la segmentation d'images multimodales de tumeurs cérébrales. Celui-ci est basé à la fois sur un mécanisme d'attention afin de fusionner les images multimodales et sur une contrainte liée au contexte afin de limiter la région de la segmentation. Compte tenu qu'il existe une corrélation entre les modalités, nous proposons une seconde méthode exploitant cette corrélation multimodale dans l'espace des caractéristiques latentes, à l'aide d'un modèle non linéaire et de la divergence de KL, dans le but de fusionner les images de manière efficace. Cette méthode innovante utilise un bloc de fusion à « triple attention », qui comprend un module d'attention basé sur les modalités, un autre basé sur l'espace spatial, et un troisième basé sur la corrélation multimodale. Il est fréquent que certaines modalités soient manquantes en pratique clinique. Nous proposons donc deux méthodes permettant la segmentation de tumeurs cérébrales avec des modalités manquantes. Nous exploitons à nouveau la corrélation entre les modalités afin de conserver les informations des images manquantes. Dans notre première méthode, le réseau est entraîné avec la totalité des modalités à l'aide de la corrélation multimodale. Il est ensuite testé dans les cas où certaines modalités sont manquantes, et celles-ci sont remplacés par les modalités les plus proches. Afin de retrouver plus précisément les informations manquantes, nous proposons une seconde méthode permettant de générer les caractéristiques de la modalité manquante, grâce à une corrélation multimodale. De plus, nous appliquons une divergence KL, pour garantir la similarité entre les caractéristiques générées et celles de la modalité originale. Nous avons démontré l'efficacité et la bonne performance des méthodes proposées en utilisant une base d'images multimodales publique.
Origine : Version validée par le jury (STAR)