Hava saldırı senaryoları için merkezi olmayan işbirlikçi çok ajanlı pekiştirmeli öğrenme

Abstract

Askeri taktik simülasyonlarında sanal varlıkların iş birliği yapabilen yapay zekâ ajanlarına dönüştürülmesi, simülasyonların gerçekçiliğini artırarak eğitim kalitesini yükseltmek açısından büyük önem taşımaktadır. Bu ihtiyaca yanıt olarak HAVELSAN tarafından geliştirilen gerçek zamanlı askeri taktik çevre simülasyonunda, merkezi olmayan işbirlikçi çok ajanlı pekiştirmeli öğrenme metodunun etkinliği araştırılmıştır. Gerçek zamanlı strateji oyunlarına benzer bu simülasyon, savunma ve saldırı senaryolarını çeşitli girdiler ve aktörlerle canlandırmaktadır. Tez kapsamında, bu simülasyon üzerinde; kural tabanlı algoritmalarla aksiyon alan düşman uçakları ile, çok ajanlı pekiştirmeli öğrenme metotlarıyla aksiyon seçmeyi öğrenen dost uçaklarının yer aldığı hava saldırı senaryoları geliştirilmiştir. Gerçekleştirilen deneylerde, dost uçaklarının eğitiminde kullanılan iki ana yöntem olan Dağıtık Öğrenme-Dağıtık Uygulama ve Merkezi Öğrenme-Merkezi Uygulama metotlarının sonuçları karşılaştırılmıştır. Tez, gerçek zamanlı askeri simülasyonlarda çok ajanlı pekiştirmeli öğrenme yöntemlerinin uygulanabilirliğini değerlendirerek bu alanda önemli katkılar sunmayı hedeflemektedir. Transforming virtual entities into collaborative artificial intelligence agents in military tactical simulations is of great importance for enhancing the realism and educational quality of simulations. In response to this need, the effectiveness of decentralized collaborative multi-agent reinforcement learning methods has been researched in a real-time military tactical environment simulation developed by HAVELSAN. Similar to real-time strategy games, this simulation animates defense and attack scenarios with various inputs and actors. Within the scope of the thesis, air attack scenarios were developed on this simulation; featuring enemy aircrafts that make decisions using rule-based algorithms, and friendly aircrafts that learn to select actions through multi-agent reinforcement learning methods. In the conducted experiments, the results of the two main methods used in the training of friendly aircrafts, Decentralized Training-Decentralized Execution and Centralized Training-Centralized Execution, were compared. The thesis aims to assess the applicability of multi-agent reinforcement learning methods in real-time military simulations, aiming to make significant contributions to this field.