Graph-based object classification techniques for autonomous vehicle radar sensors

Abstract

As the automotive industry continues to evolve, the importance of visual perception systems that provide situational awareness to autonomous vehicles has become crucial. While traditional deep neural networks have been successful in solving 2D Euclidean problems over the past decade, the analysis of point clouds, especially RADAR data, presents significant challenges owing to its irregular structure and intricate 3D geometry, which are not well-suited for 2D signal processing. To address this issue, we propose two novel approaches by using Graph and Transformer based classification methods for RADAR point clouds in this thesis. The novel aspect of these studies lie in the development of an object point detection pipeline utilizing Graph and/or Transformer based methods. Each of the created models utilizes a deep learning structure from start to finish, incorporating graph convolutions on both RADAR points and feature vectors. Feature vectors are generated within the GSP framework to create a contextualized representation of the sensor data. As the movement towards comprehensive deep learning methods continues to grow in popularity, we initially present the RADAR-DGCNN and RADAR-PointNGCNN methods, both of which are constructed using graph-oriented algorithms. While our initial suggested approaches predominantly utilize graph-related methods, we improve the classification outcomes by integrating adaptations into a Transformer network within the GSP framework. To validate the effectiveness of our proposed methods, we conduct experiments using publicly available nuScenes and RadarScenes point cloud datasets. Through extensive experimentation on these challenging benchmark datasets, we demonstrate that our proposed method outperforms state-of-the-art baselines studied on the RADAR point cloud in terms of performance.Otomotiv endüstrisi geliştikçe, otonom araçlara durumsal farkındalık sağlayan görsel algılama sistemlerinin önemi hayati hale gelmiştir. Geleneksel derin sinir ağları son on yılda 2D Öklid problemleri çözmede başarılı olmuş olsa da, nokta bulutlarının analizi, özellikle RADAR verisi, düzensiz yapısı ve karmaşık 3D geometrisi nedeniyle 2D sinyal işleme için uygun değildir ve önemli zorluklar çıkarmaktadır. Bu sorunu çözmek için, bu tezde RADAR nokta bulutları için Çizge ve Dönüştürücü tabanlı sınıflandırma yöntemleri kullanarak iki yeni metot önerilmektedir. Bu çalışmaların yenilikçi yönü, Çizge ve/veya Dönüştürücü tabanlı yöntemler kullanılarak nesne nokta tespiti yapılabilen bir yapı geliştirmekte yatmaktadır. Oluşturulan her bir model, baştan sona derin öğrenme yapısını kullanırken RADAR noktaları ve öznitelik vektörleri üzerinde çizge evreşimlerini içermektedir. Öznitelik vektörleri, sensör verilerinin bağlamsal bir temsili oluşturmak amacıyla GSP çatısı altında üretilmektedir. Kapsamlı derin öğrenme yöntemlerine yönelik eğilimin popülaritesi artmaya devam ederken, her ikisi de çizge tabanlı algoritmalar kullanılarak oluşturulan RADAR-DGCNN ve RADAR-PointNGCNN yöntemler önerilmektedir. Başlangıçta önerdiğimiz yaklaşımlarımız çoğunlukla çizge ile ilişkilendirilen yöntemleri kullanırken, sınıflandırma sonuçlarını GSP çatısı altında bir Dönüştürücü ağına uyarlama ile iyileştirilmiştir. Önerilen yöntemlerimizin etkinliğini doğrulamak için halka açık nuScenes ve RadarScenes nokta bulutu veri kümelerini kullanarak deneyler gerçekleştirilmiştir. Bu zorlu karşılaştırmalı veri kümeleri üzerinde yapılan geniş kapsamlı deneylerle, önerilen yöntemimizin RADAR nokta bulutu üzerindeki performans açısından mevcut en iyi temel yöntemleri geride bıraktığı görülmüştür.