A multi-aircraft cooperative air combat decision-making algorithm based on an adaptive weighted priority virtual self-play theory approach
-
摘要:
针对多机协同超视距(BVR)空战自博弈训练中收敛速度慢、策略循环振荡的问题，提出了一种结合优先虚拟自博弈(PFSP)与自适应胜局加权机制的多机协同空战决策算法。在多智能体强化学习框架下构建4v4超视距空战仿真对抗环境；引入Elo机制动态评估策略能力，实现历史对手策略的非均匀采样，打破策略循环；同时，设计基于胜率的损失函数加权机制，在初期高价值样本稀缺情况下，引导梯度更新方向。实验结果表明，所提算法在第200个训练回合便逼近平衡状态，较传统FSP算法的收敛效率提升约55%，且中后期的博弈振荡幅值相对较小。进一步采用消融实验证实了损失函数加权机制的加速收敛效果。采用PFSP算法的自博弈智能体策略在面对专家对手时，能够取得70.3%的胜率，展现出强大的空战决策能力。
Abstract:This study suggests an approach that combines prioritized fictitious self-play (PFSP) with an adaptive winning-game weighting mechanism to address the delayed convergence and policy oscillation in self-play training for multi-aircraft cooperative beyond-visual-range (BVR) air combat. Firstly, a 4v4 BVR air combat simulation environment is established under a multi-agent reinforcement learning framework. Second, in order to break the policy cycle, the Elo method is developed to conduct non-uniform sampling of past opponents and dynamically assess policy capabilities. Meanwhile, a win-rate-based loss function weighting mechanism is designed to guide gradient updates when early high-value samples are scarce. According to experiments, the suggested approach greatly lessens later-stage oscillation and converges to the Nash equilibrium by the 200th episode, increasing convergence efficiency by 55% over conventional FSP. The weighting mechanism’s accelerating impact is further supported by ablation investigations. Lastly, agents educated using PFSP have strong air combat decision-making ability, winning 70.3% of the time against skilled opponents.
-
表 1 全局状态空间
Table 1. Global state space
状态分量 描述 维数 本机（蓝1号机） 位置信息，包括x坐标、y坐标、z坐标； 3 角度信息，包括航向角、俯仰角、滚转角； 3 速度信息，包括速度大小、北向速度分量、地向速度分量、东向速度分量； 4 加速度信息，包括北向加速度分量、地向加速度分量、东向加速度分量 3 友机（蓝2号机，蓝3号机，蓝4号机） 与本机类似，但状态信息是相对于本机的相对数据 3×13 敌机（红1号机，红2号机，红3号机，红4号机） 与本机类似，但状态信息是相对于本机的相对数据 4×13 蓝方导弹信息（预留16枚导弹） 相对位置信息（x坐标、y坐标、z坐标）、相对速度信息（速度大小、
北向速度分量、地向速度分量、东向速度分量）16×7 红方导弹信息（预留16枚导弹） 与蓝方导弹信息类似 16×7 导弹告警信息（预留16枚导弹） 方位角、俯仰角（相对值） 16×2 导弹制导信息（预留16枚导弹） 标识符、方位角、俯仰角、制导步数 16×4 
下载: 导出CSV
表 2 局部状态空间
Table 2. Local state space
状态分量 描述 维数 本机（蓝1号机） 位置信息，包括x坐标、y坐标、z坐标； 3 角度信息，包括航向角、俯仰角、滚转角； 3 速度信息，包括速度大小； 1 加速度信息，包括北向加速度分量、地向加速度分量、东向加速度分量 3 友机（蓝2号机，蓝3号机，蓝4号机） 与本机类似，但状态信息是相对于本机的相对数据 3×10 敌机（红1号机，红2号机，红3号机，红4号机） 只包括位置信息（x坐标、y坐标、z坐标）、航向角、速度 4×5 蓝方导弹信息（预留8枚导弹） 只包括位置信息（x坐标、y坐标、z坐标）、航向角、速度 8×5 红方导弹信息（预留8枚导弹） 与蓝方导弹信息类似 8×5 导弹告警信息（预留16枚导弹） 方位角、俯仰角（相对值） 16×2 导弹制导信息（预留16枚导弹） 标识符、方位角、俯仰角、制导步数 16×4
下载: 导出CSV
表 3 事件奖励
Table 3. Event rewards
事件 奖励值 我方飞机发射一枚导弹$ {r}_{{\mathrm{shoot}}} $ +2 击落一架敌机$ {r}_{{\mathrm{kill}}} $ +10 我方一架飞机被击落$ {r}_{{\mathrm{out}}} $ −10 导弹告警消失且我方飞机存活$ {r}_{{\mathrm{threat}}\_ {\mathrm{gone}}} $ +0.25
下载: 导出CSV
表 4 算法参数
Table 4. Algorithm parameters
参数分类 参数 取值 神经网络参数 隐藏层神经元数量 256 隐藏层数量 2 Actor网络学习率 0.0005 Critic 网络学习率 0.0005 PPO裁剪参数 0.2 折扣因子 0.995 批数量 1 自博弈参数 策略池容量 5 策略入库胜率阈值 0.6 策略入库间隔阈值 5 Elo初始评分 1200 改进机制参数 策略损失加权机制的最大权重 1.5
下载: 导出CSV
表 5 对战专家对手胜率
Table 5. Win rates against expert opponents
决策算法 对战专家
胜率/%战损比
（敌：我）我方场均
存活数/架平均对局
时长/sPFSP+胜局加权机制 70.3 1.8:1 1.9 455.1 FSP 42.7 0.9:1 0.8 654.2 仅PFSP 53.3 1.2:1 1.3 545.5
下载: 导出CSV
-
[1] 樊会涛, 闫俊. 空战体系的演变及发展趋势[J]. 航空学报, 2022, 43(10): 527397.Fan H T, Yan J. Evolution and development trend of air combat system[J]. Acta Aeronautica et Astronautica Sinica, 2022, 43(10): 527397(in Chinese). [2] 孙智孝, 杨晟琦, 朴海音, 等. 未来智能空战发展综述[J]. 航空学报, 2021, 42(8): 525799.Sun Z X, Yang S Q, Piao H Y, et al. A survey of air combat artificial intelligence[J]. Acta Aeronautica et Astronautica Sinica, 2021, 42(8): 525799(in Chinese). [3] 罗越群, 丁达理, 谭目来, 等. 无人作战飞机自主机动决策方法综述[J]. 航空学报, 2025, 46(7): 130884.Luo Y Q, Ding D L, Tan M L, et al. A review of autonomous maneuver decision methods for unmanned combat aerial vehicle[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(7): 130884(in Chinese). [4] 李波, 黄晶益, 万开方, 等. 基于深度强化学习的无人机系统应用研究综述[J]. 战术导弹技术, 2023(1): 58-68.Li B, Huang J Y, Wan K F, et al. A review of research on the application of UAV system based on deep reinforcement learning[J]. Tactical Missile Technology, 2023(1): 58-68(in Chinese). [5] 方思雨, 张振华, 牛经龙, 等. 多无人机空战机动决策中的深度强化学习: 实践中的关键技术综述与未来展望[J]. 航空兵器, 2025(2): 19-33.Fang S Y, Zhang Z H, Niu J L, et al. Deep reinforcement learning in multi-UAV air combat maneuver decision-making: a review of key techniques in practice and future prospects[J]. Aero Weaponry, 2025(2): 19-33(in Chinese). [6] Li W T, Fang F, Peng D L, et al. An intelligent maneuver decision-making approach for air combat based on deep reinforcement learning and transformer networks[J]. Entropy, 2024, 26(12): 1036. [7] Yang J, Wang L P, Han J L, et al. An air combat maneuver decision-making approach using coupled reward in deep reinforcement learning[J]. Complex & Intelligent Systems, 2025, 11(8): 364. [8] Wang H M, Zhou Z F, Jiang J Z, et al. Autonomous air combat maneuver decision-making based on PPO-BWDA[J]. IEEE Access, 2024, 12: 119116-119132. [9] Mei J R, Li G, Huang H S. Deep reinforcement-learning-based air-combat-maneuver generation framework[J]. Mathematics, 2024, 12(19): 3020. [10] Zhang X, Dong W H, Zhang P, et al. Research on the reward design method for deep reinforcement learning in WVR air combat[J]. IEEE Access, 2024, 12: 182693-182707. [11] Zhu J Y, Kuang M C, Zhou W Q, et al. Mastering air combat game with deep reinforcement learning[J]. Defence Technology, 2024, 34: 295-312. [12] Gao X Z, Zhang Y, Wang B L, et al. The optimal strategies of maneuver decision in air combat of UCAV based on the improved TD3 algorithm[J]. Drones, 2024, 8(9): 501. [13] Shi G Q, Cao Y, Wang D H, et al. Towards intelligent unmanned adversarial games: a reinforcement learning framework with the PHP-ROW method[J]. Drones, 2025, 9(5): 331. [14] 单圣哲, 张伟伟. 基于自博弈深度强化学习的空战智能决策方法[J]. 航空学报, 2024, 45(4): 328723.Shan S Z, Zhang W W. Air combat intelligent decision-making method based on self-play and deep reinforcement learning[J]. Acta Aeronautica et Astronautica Sinica, 2024, 45(4): 328723(in Chinese). [15] Li B, Huang J Y, Bai S X, et al. Autonomous air combat decision-making of UAV based on parallel self-play reinforcement learning[J]. CAAI Transactions on Intelligence Technology, 2023, 8(1): 64-81. [16] Kong W R, Zhou D Y, Zhou Y, et al. Hierarchical reinforcement learning from competitive self-play for dual-aircraft formation air combat[J]. Journal of Computational Design and Engineering, 2023, 10(2): 830-859. [17] Tasbas A S, Sahin S O, Üre N K. Reinforcement learning based self-play and state stacking techniques for noisy air combat environment: AIAA 2023-1077[R]. Reston: AIAA, 2023. [18] Yang M C, Shan S Z, Zhang W W. Decision-making and confrontation in close-range air combat based on reinforcement learning[J]. Chinese Journal of Aeronautics, 2025, 38(9): 103526. -
下载:
点击查看大图
计量
- 文章访问数: 123
- HTML全文浏览量: 58
- PDF下载量: 22
- 被引次数: 0
