Segmentation on brain MR ımages by using deep learning network and 3d modelling

Abstract

In the last few years, utilizing deep learning techniques for predicting tumor presence on brain MR images became quite common.We offer a semantic segmentation method that uses a convolutional neural network to autonomously segment brain tumors on 3D Brain Tumor Segmentation (BraTS) image data sets using four different imaging modalities in this research (T1, T1C, T2, and Flair). In addition, our research incorporates whole-brain 3D imaging and a comparison of ground truth and anticipated labels in 3D. This method was effectively applied to acquire specific tumor regions and measurements such as height, width, and depth, and images were presented in various planes including sagittal, coronal, and axial. In terms of tumor prediction, the evaluation findings of semantic segmentation performed by a deep learning network are extremely promising. The average prediction ratio was found to be 91.718. The mean IoU (Intersection over Union) score was 86.946 and the mean BF score was 92.938. Finally, the test images' dice scores revealed a considerable resemblance between the ground truth and predicted labels. As a result, semantic segmentation metrics and 3D imaging can both be viewed as useful for effectively diagnosing brain tumors. Calculating the surface areas of the brain, real and predicted labels, and applying this process to all slices is very useful in terms of comparing tumor volume information. As a result, the predicted volume values are very close to the ground truth volume values, showing that this study can determine the presence of tumors by the deep learning method and tumor size by surface area algorithm. In addition, the calculation of the brain tumor volume and 3D modeling will facilitate clear visualization of the tumor site and understanding the size of the tumor. Son yıllarda beyin MR görüntülerinde, tümör varlığının tahmin edilebilmesi için derin öğrenme tekniklerinin kullanımı oldukça yaygınlaşmıştır.Dört farklı görüntüleme modalitesinden (T1, T1C, T2 ve Flair) oluşan 3D Beyin Tümörü Segmentasyonu (BraTS) görüntü veri setlerinde beyin tümörünü otomatik olarak bölümlere ayırmak için konvolüsyonlu sinir ağını kullanarak semantik segmentasyon yöntemi sunulmaktadır. Ek olarak, piksel sınıflandırılması için ‘arka plan’ ve ‘tümör’ olmak üzere iki sınıf belirlenmiştir. Semantik segmentasyon sonuçlarının değerlendirilmesi için de ortalama IoU ve ortalama BFscore gibi metriklerden faydalanılmıştır. Ayrıca, kullanılan veri setindeki gerçek (ground truth) etiketleri ile oluşturulan ağın son katmanında elde edilen tahmin etiketlerinin karşılaştırılması, dice katsayısı kullanılarak karşılaştırılmıştır. Her iki etiket grubu kullanılarak, içerisinde tümörün yer aldığı 3 boyutlu beyin MR görüntüleri oluşturulmuştur. Sonuç olarak, test görüntüsü üzerinde yüksek oranda tümör tahmini gerçekleştirilmiştir. Oluşturulan 3 boyutlu beyin görüntüleri, tümörün genişlik, yükseklik ve derinliği hakkında cerrahlara planlama açısından görsel bir katkı sağlayabilir. Beyin, gerçek ve tahmin edilen etiketlerin yüzey alanlarının hesaplanması ve bu işlemin bütün kesitlere uygulanması tümör hacim bilgilerinin karşılaştırılması anlamında oldukça faydalıdır. Sonuç olarak tahmin edilen hacim değerlerinin, gerçek hacim değerlerine oldukça yakın olması, bu çalışmanın tümör varlığını derin öğrenme metodu ile tümör hacmin ise yüzey alanı algoritması ile tespit edilebileceğini göstermiştir. Bu çalışma, beyin tümörlerinin otomatik olarak tespit edilmesini sağladığı için, beyin tümör teşhislerinde önemli bir avantaj sağlayabilir. Ek olarak, beyin tümörünün hacminin hesaplanması ve 3 boyutlu modelleme sayesinde, tümör bölgesinin net olarak görüntülenmesi ve tümörün boyutlarının anlaşılmasını kolaylaştıracaktır.