一、系统概述
与大众熟知的预测、识别等人工智能技术不同，强化学习技术学习最优决策策略的途径独树一帜。传统的预测与识别技术高度依赖于有标注的训练数据，例如人脸识别模型的训练需要大量标注为人脸和非人脸的样本数据。而强化学习技术则依赖于智能体进行大量的自主探索和试错，从不断尝试中总结经验，最终获得决策任务的最优策略。正是由于这一特性，强化学习无需依赖人类标注的决策数据，而是通过自主学习，有望发现甚至创造出超越人类的崭新决策方式。
JS装备决策智能系统是一个集数据分析、预测、评估、决策等功能于一体的综合性系统。它利用先进的数据处理技术和算法模型，对海量的装备相关数据进行深度挖掘和分析，为决策者提供科学的决策依据和优化的决策方案。该系统通常包括数据采集与预处理、数据分析与挖掘、决策支持与优化等模块。
二、技术平台
（一）在线强化学习平台
在线强化学习平台是一款简单易用、功能强大的强化学习训练平台。该平台集资源管理与调度、分布式并行计算、强化学习算法及开发工具于一体，提供了一站式的强化学习开发环境。
平台具备灵活的智能体构建、高效的训练与逼真的推演能力，让用户能够快速设计和优化强化学习模型。同时，平台支持训练过程的实时可视化，使得模型训练的每一步都清晰可见，方便用户实时监控和调整。此外，仙易在线强化学习平台还提供了多平台接口适配，可以与各种主流的仿真环境无缝对接，极大地提高了开发效率。
（二）离线强化学习平台
平台不仅提供了先进的离线强化学习算法，还集成了一系列强大的工具，涵盖了决策模型开发的全流程。从数据导入、决策流设计到环境模型检验、决策模型检验，为用户提供了一站式的开发体验。
该平台的一大亮点在于其实现了 " 零试错 " 的强化学习。传统的强化学习方法通常需要大量的试错和迭代，而通过创新的离线学习技术，使得策略的训练可以在既有数据的基础上进行，无需重复试错，大大提高了训练效率。用户可以快速完成策略的训练，并且获得的策略可以直接部署到实际应用中。
三、模型服务
（一）数据克隆模型与服务
"数据克隆"是平台的核心组件之一，最初旨在为强化学习的试错过程提供支持。然而，这一技术还有一个意想不到的"副产品"：它能够从有限的数据中还原出装备的动力学模型。克隆模型在保持与真实装备高度一致的同时，极大地提升了模型的灵活性。
这种完全数据驱动的模型克隆方式，有效地解决了"有数据无机理"的仿真建模难题，为数字化战场构建、装备自动化控制及决策智能奠定了坚实的基础。
（二）通用反馈控制系统大模型GFS
GFS 是一款专为反馈控制类任务量身打造的决策基础模型，其核心技术基于强化学习。在模型的训练过程中，GFS 经历了来自 7 万余个反馈控制任务的超过 6000 万次交互数据的打磨，经过反复锤炼，最终形成了一个功能强大、适应性广的通用反馈控制模型。
GFS 模型可以提供多种用途。它能够敏锐地辨识系统的内在特征，揭示系统运行的内在参数。GFS 还能充当 " 预警哨兵 "，及时发现系统运行过程中的异常变化，为决策者提供预警信息。GFS 模型还可以直接应用于反馈控制，通过自主分析系统状态，自主调整控制策略，实现高效、精准的系统控制。
四、控制系统模组
无人机协同对抗决策基础模型与控制器模组；无人艇协同对抗决策基础模型与控制器模组；电磁对抗基础模型与控制器模组。
五、配套产品
（一）控制律参数自主寻优模块
针对控制建模与设计场景中控制参数难以确定的普遍问题，本模块提供了一种基于强化学习的控制律参数自主优化解决方案。该方案以客户设计的控制律模型为基础，根据自定义的控制性能指标，自主搜索并确定最优的、可状态依赖的控制参数组合。
可用于各类飞行器、机器人等装备的控制系统优化。无论是经典的PID控制，还是其他先进的控制方法，该模块都能提供一种通用的参数调优方案。通过与控制律参数自主优化模块的结合，工程师可以将更多的精力放在控制策略的设计和算法的创新上，而将繁琐的参数调试工作交给智能优化系统来完成。
（二）AI模型自动化测试平台
决策策略通常以深度神经网络模型为形态。随着决策策略的广泛应用，其可靠性成为应用的基石。针对深度神经网络的黑箱性，本平台构建了一套全流程的测试用例生成方法，为神经网络策略模型的可靠性和安全性提供全方位的保障。
（三）自研高性能算力调度平台
自研高性能算力的灵活调度平台，发挥计算服务器的最大效用。已经适配华为、寒武纪、海光等多种国产计算设备。
