摘要：通过分析大数据问题产生背景、基本认识和电磁信息处理技术特征，分析了在复杂电磁环境下战场电磁信息处理大数据问题的处理方法和主要应用技术，其分析结果可为电磁信息处理大数据应用研究提供支持。

1大数据问题的产生背景及认识

1.1大数据问题产生背景

大数据作为一个专有名词成为热点，主要归功于近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、RFID、无线传感器等每分每秒都在产生数据，数以亿计用户的互联网服务时时刻刻在产生巨量的交互，要处理的数据量太长、增长太快。多媒体应用的出现，导致数据类型发生很大改变，分层数据、文档、电子邮件、计量数据、视频、静态图像、音频、股票行情数据和金融交易等非结构化数据占到了很大比重，并且产生智慧的海量数据是非结构化数据。大量数据分散在不同部门、不同企业，没有实现数据共享和集中管理。决策关注的数据已不再限于部门内部数据库中的业务数据，还要包括互联网、物联网上各类网络活动所产生的相关数据记录。传统的常规技术手段根本无法应付。美国政府高调倡议大数据问题研究为继续保持信息处理技术的垄断地位提供有力支持。

1.2大数据的含义

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。IBM公司把大数据概括成了三个“V”，即大量化（Volume）、多样化（Variety）和快速化（Velocity）。这些特点也反映了大数据所潜藏的价值（Value），可以认为，这四个“V”就是大数据的基本特征。

大容量数据（TB、PB甚至EB级）：数据的存储和安全以及在未来访问和使用这些数据已成为难点。

多格式数据：海量数据包括了越来越多不同格式的数据，不同格式的数据也需要不同的处理方法。如简单的电子邮件、数据日志和各种记录、传感器收集到的数据、信息系统生成的数据、武器装备数据、人力资源数据以及丰富的媒体数据（包括照片、音乐、视频等）。

高速度处理：数据从端点移动到处理器和存储的速度，以及数据分析处理需要实时化等。

高价值信息：大量分散存储的、多结构和非结构数据含有很多支持判断情况和进行决策的高价值信息。

大数据问题是信息化发展过程中，由于数据量、数据类型的急剧增加，导致存储、处理以及网络传输都不能满足要求的情况下产生的，是一种客观的信息化发展进程，对信息建设和应用的影响是深远的、不断变化的。它的价值取决于大数据产生的客观实际、大数据处理方法转变、关键技术突破情况和大数据的应用能力。

2电磁信息处理大数据问题分析

2.1复杂电磁环境特征分析

随着信息化武器在未来联合作战中的广泛应用，各种机载、舰载、车载和背负式电子目标在战场大量出现。战场电磁信号密集复杂多样。复杂特性主要体现在：

信号频段全、种类多。战场电磁信号频段覆盖短波至激光灯全频段。信号种类包括雷达信号、导航、通信、测控等多类信号。

信号密集。雷达信号密度100万脉冲以上，存在脉冲交叠情况；通信电台上千部，同频度多信号，信息区分难度大。

技术体制、调制样式复杂。各种新型复杂体制的雷达信号、通信以及激光信号不断出现。雷达信号的脉间、脉内调制样式多且调制很复杂，分析提取信号调制特征难度大。

工作样式变化灵活。相控阵多功能雷达能同时调制多种功能的脉冲串，识别目标和工作模式以及判别敌方意图带来很大的困难。

2.2电磁信号情报处理特征

电磁信号情报处理主要内容包括辐射源参数估计、调制样式识别、辐射源型号识别、目标综合识别、目标功能状态识别，以及后续的目标分群、目标活动监测和态势分析与威胁估计等。其中，信号参数估计和调制样式识别属于信号处理内容，由硬件系统实现。辐射源型号识别、目标综合识别以及目标活动处理、态势分析和威胁估计等属于情报处理内容，由软件系统实现。

在情报处理业务中，辐射源关联是辐射源型号识别和目标识别的基础，多元目标综合识别是目标识别和态势综合的关键。辐射源关联主要是依据辐射源的空、时、频域多维特征以及信号调制细微特征等，完成多站侦收辐射源之间关联融合。多源目标识别综合识别的难点在于不同传感器截获信源存在时间、空间和信息参数的差异性，不同时刻测量的同源信号工作模式和信号的辐射特性也存在差异性，同时，为了提高关联识别准确度，需要提取尽可能多的特征，特征的关联测量相似度和区分度差异也需要及时判断。辐射源关联和多源目标综合识别具备明显的并行流处理特征。

电磁态势综合及分析是电磁情报处理的难点，需要在目标识别基础上，进行目标分群、目标关系提取以及进行目标空域、频域、工作模式域等活动特征提取、异常活动检测和活动意图分析等。处理的数据来源分散、种类多，既包括实时在线辐射源和目标处理结果，又包括目标活动处理结果、积累的目标历史情报数据，以及其他途径获取的目标基本信息、活动规律、威胁能力和工作方式等信息，还有部队、装备、战场环境等信息。各业务模块处理信息量大、综合处理流程复杂、实时性要求高，呈现较强的分布式并行处理特征。

多站侦察数据存储管理与共享应用是电磁情报处理新的难点。不同站点情报系统不同处理层级分别产生大量侦察数据情报，不同地域、不同途径获得的情报信息存在着相互关联性。情报处理系统需要从海量数据中提取各种关系以及其他被淹没的有价值信息，分散存储的多结构、多类型信息维护管理难度大，需要更为先进的数据管理维护方法和技术。

2.3电磁信息处理方法转变

复杂电磁环境下电磁信息数据量非常大，信息作战、联合火力打击等目标保障。、战场态势保障实时性要求高，不同手段获取目标信息关联难度大，电子设备与综合武器平台配属关系复杂、电子战斗序列协同和互补应用关系多头。信号处理复杂度、时效度要求高以及数据类型多、用户种类多、需求多样，存储分散等特点，呈现很多大数据处理特点，对复杂电磁环境信息处理方面提出很多新的要求。主要体现在：

（1）数据分布式存储管理：复杂电磁环境下，不同位置侦查系统截获大量侦察数据须分散存储，综合情报处理、战场环境情况综合需要及时对不同站点的侦察数据进行检索关联、汇总处理等，对服务器和存储架构以及信息管理架构方面需进行重大调整，通过标准化的流程和工具对数据进行处理以保证一个预定义好的高质量的分析结果，需要进行分布式数据库技术、分布式文件系统和各种分布式存储方案等方法转变。

（2）实时处理特征明显：多源多类电磁信息处理业务流程复杂、实时性强，数据处理的注意力越来越集中在“数据流”而非“数据集”层面。指挥员掌握战场情报需要紧扣其电子目标组成、分布活动状态，并获取实时的结果。这些特征决定数据系统具备处理随时发生的数据流的架构，支持数据流处理。

（3）大数据量并行化计算处理要求突出：复杂密集电磁信号处理、数据分布存储管理和实时处理大量数据等特征对跨节点的分布式并行处理需求明显，分布式/并行处理、大型分布式文件系统，分布式比行查询等方法将成为主要的处理方法。

（4）多源多类海量数据关联聚类分析十分重要：战场目标电磁活动是基于作战任务进行的，不同位置截获的电磁信号及活动特征存在着密切的协同关系，不同用途的雷达、不同用途的通信网、电台活动期间的功能协同、时间协同、空间协同，最终体现任务的协同关系。提取这些关系对理解敌方意图、作战行动等十分重要，对数据处理提出了分布式存储、不同格式的海量数据关联聚类需求。

（5）电磁信号行为意图分析理解重要：在电子对抗、网电空间对抗条件下，任何电磁信号的细微变化都可能反映出行动意图和作战使用方式。电磁信号处理须从信号特征分析向信号特征反映的意图转变，从个体行为意图向群体行为意图转变，进而向目标体系行为意图转变，通过综合目标部署、空域活动特征、频繁活动特征等分析敌方行为意图，从而为电子对抗、联合火力打击决策支持提供情报分析结果。

3电磁信息处理大数据应用需求分析

电磁信息处理大数据应用体现在侦查数据处理、电磁态势综合、目标情报处理、综合情报处理以及决策支持等方面。

3.1侦查数据处理方面德的应用

主要解决复杂高密度电磁多频段信号截获和信号分析处理，获取信号特征参数、目标属性和运动状态等，解决在信号密度不断增加、军民信号混杂、真伪信号复杂、信号样式不断更新情况下的电磁信号处理难题。主要应用技术包括重点开发高密度信号环境下，全频段多类信号全概率截获并行流处理技术和有用目标信息甄别处理技术。

3.2电磁态势综合方面的应用

主要解决发杂战场环境下，多站多手段截获目标电磁属性进行电子目标、目标综合平台融合识别，目标属性判别、目标工作意图判别以及目标运动属性判别处理等，实时形成准确电测态势。主要应用技术包括多源情报关联特征建模及差异性分析、电子目标多维特征灰关联、多分类器目标融合识别、大差异目标航迹关联、工作意图提取等。

3.3目标情报处理方面的应用

主要解决不同途径获得并分散存储侦察目标信息综合问题，重点是目标异类情报信息关联融合，获取目标基本信息、部署信息以及目标活动情报关联。主要应用技术包括多维立体数据关联聚类、情报信息融合，格式化与非格式化情报关联，目标体系聚类，目标部署意图分析、活动规律挖掘以及意图分析等。

3.4辐射源型号参数综合方面的应用

解决对不同地域、不同设备和不同时间侦察的大量辐射源型号数据的型号识别、工作模式识别和模式状态功能问题。主要应用技术包括海量数据分布式查询、辐射源型号识别与区分、辐射源参数细微特征建模、雷达信号脉冲序列规律提取等。

3.5综合情报处理方面的应用

   解决特征主题的情报综合处理问题，包括重点目标信息关联、海量目标数据聚类、重大活动情报汇总分析等。主要应用技术包括海量数据深度挖掘、海量数据关联聚类、情报意图信息的智能提取、基于规律模式活动预测等。

3.6装备缺陷查找方面的应用

通过查找侦察情报系统生成的情报数据与实际目标活动的差异，分析侦察情报系统存在的问题，在目标捕获、数据处理、情报分析等多个环节可能存在的质量问题、设计缺陷和技术问题，为装备改进、研制提供支持。汇总采集的维修数据，分析装备质量问题、设计缺陷等问题。

3.7决策支持方面的应用

通过挖掘提取数据规律、事件活动规律、活动模式，查找关联事件、关联关系以及活动时序事件等，进行专题或整体情报分析，形成各种可以支持领域决策的应用。主要应用技术包括基于粗糙集合聚类挖掘算法、关联规则挖掘算法和序列模式挖掘算法等支持下的挖掘工具研发十分重要。

   4结束语

复杂电磁环境信息处理大数据特征是明显的，典型信息处理业务对大数据处理方法和技术需求信息是具体的。本文分析的电磁信息处理大数据处理方法的转变和主要应用技术对进一步研究开发本领域大数据应用技术、提高电磁环境信息应用能力有一定的支持作用。