2019年11月13日，兰德公司发布报告《Measuring the Effectiveness of Special Operations》，报告旨在解决特种作战部队的具体挑战（如动态环境、有限预算），并提供了对行动级特种作战部队（SOF）总部进行循证评估的方法，供整个特种作战部队企业的操作人员使用。在评估方法中，着重强调了新兴社交媒体，文本分析中的大数据及人工智能的应用，以及对特种部队的重要意义。
方法与步骤：
（一）基于尝试的评估方法
基于工作线（LOE）的方法现在普遍用于军事行动的战略和作战级评估。这种方法特别适合于特种作战部队的作战级评估，因为特种作战部队要实现的目标通常在作战计划中阐明，具体说明了通过特种作战部队核心活动和能力执行的多个LOE。
（二）七步评估流程
评估过程分为七个顺序步骤。评估过程的中心目标是演示评估团队如何收集所需数据，以及如何选择和实施适当的分析技术。定量和定性方法可以产生具有因果解释的结果，可用的数据类型决定了适当的方法。
七个步骤描述如下
步骤1：确定目标。通过审查官方文件（如作战计划）和与计划员和指挥官协商，确定关键的LOE和每个LOE的目标。这包括制定特定的阈值（对实现目标、中间军事目标或特定效果的时间、作战次数或其他指标的期望）。与计划人员和指挥官合作，确保目标是具体的、可衡量的、可实现的、相关的和有时限的。LOE和组成活动代表了计划设想的实现目标的方式。
步骤2：确定活动。开发一个任务跟踪系统，整理所有相关活动的细节，所有可能影响到业务级总部组成部分的任何后勤部门和相关目标的活动。任务跟踪器应基于标准化SITREP中定期提供的数据。此步骤还应阐明变更理论或逻辑模型，明确说明如何在每个LOE下分组活动以实现预期目标。
步骤3：定义MOEs。选择MOEs，从标准化列表开始，在操作环境中建立基础，注意特定的阈值和效果的时间范围。确保MOEs是具体的、可衡量的、可实现的、相关的和有时限的。
步骤4：制定指标并收集数据。根据可用的数据流制定一组指标。可编入运行数据的指标和可从环境数据中导出的指标是首选指标。
步骤5：进行特定LOE分析。为可用数据选择适当的分析技术并进行分析。当所有的数据都是可量化的，并且当SOF活动是在许多不同的领域或以许多不同的单位（超过50个）进行时，最好使用具有因果解释的定量方法，特别是多元面板回归。具有因果解释的定性方法，只有当分析单元数量有限或某些关键数据无法量化时，流程跟踪才是合适的。核心分析任务之一是检测随时间的变化（即，从基线开始），这种变化似乎与SOF活动有关。
步骤6：合并分析。特定于LOE的结果应以组合方式呈现，以便于可视化计划的LOE正在或正在进行中。
步骤7：指挥官审查。和指挥官一起检查结果。结果应使他能够调整LOE或活动或其他投入，以改进产出和成果。可能需要调整包括MOE在内的评估过程，以提供所需的粒度、周期性和保真度。
关键结论
【结论1】新兴社交媒体的潜力与局限
由于新技术能力，现在世界每年产生的数据比能够分析的数据多得太多，预计可用数据还将继续呈指数增长。这些新的数据源，都可用于软件作战评估。其中最大的数据源被松散地归类为“社交媒体”。新的算法，使大部分非结构化文本、图像、甚至音频和视频内容在社交媒体上变得有意义，正迅速将许多社交媒体“大数据”带入人们的视野。而商业界很快就抓住了这些机会，新的社交媒体分析平台迅速进入公共领域，其中几个问题特别值得关注：
（1）数据获取越来越难。超过50%的Facebook页面现在是私有的，只有Facebook公司内部的研究人员才能访问。一些国家拥有自己的社交媒体内容专有数据集。而包括Twitter在内的许多社交媒体平台也使得他们的聚合数据更难获得。
（2）数据限制加剧了抽样偏见问题。例如，世界上只有20%的人使用最流行的开放平台Twitter，每个平台都有独特的人口统计特征，不能代表所有人。这些不断变化的社交媒体趋势意味着评估团队需要在访问各种类型的环境数据时变得更有创造性，同时尊重隐私保护和适用的法律法规。
（3）社交媒体很容易被超级大国用户所控制，有些人其中可能是自动机器人。如果不考虑这些影响，分析师们的分析就有可能被潜在的对手操纵。社交媒体也是对自我的公开展示，因此个人用户会对他们向外界展示的信息进行大量过滤。
尽管面临这些挑战，社交媒体在作战分析方面仍有许多独特的优势。随着移动设备在全球范围内的传播，社交媒体往往在激进分子、政治人士、叛乱分子和其他运动出现和传播时打开一扇独特的窗口。而社交媒体平台是最常用的工具之一，因此可以对网络凝聚成政治或活动团体发出极好的预警。
此外，更开放的社交媒体平台，如Twitter，是明确的对话式的；也就是说，它们捕捉到多个群体之间的真实互动，并且可以揭露组织群体或不同人口部门之间的主要不满、沟通方式和潜在的一致点或协作点。社交媒体平台也是分享强烈情绪的情感渠道和平台，它们也可以成为有关持续冲突影响、死亡、疾病和流离失所影响的人口或群体情绪的有用指标。
【结论2】对非结构化数据有意义的新兴技术
计算分析领域的一系列新发展有望影响软件评估实践，其中使用最广泛的是文本分析。计算文本分析允许用户分析比人类能有效阅读更多的文本。计算机可以完全自动化地用于为人类分析员读取大量文本，并提供预结构结果。文本分析大致分为以下几类：
（1）文档聚类和查询是一种机器学习方法，它将大型文档集合（数万个文档或更多文档）分类为较小的相关文档集群，然后使用智能查询提取相关信息，例如“向我查找有关俄罗斯在叙利亚运营的文档”。
（2）人类监督的文本分类涉及通过学习人类实例来教机器对文本进行分类。例如，一个人可以为操作相关的类别编码1000条tweets；机器从该示例中学习，然后编码500000条tweets。
（3）主题建模是一种在非常大的文本集合（数百万字）中提取主题的方法，包括比较分析。词法分析是一种基于词的技术，用于提取关键词和抽象（地名、专有名词和抽象概念）。
（4）情绪分析是对文本中表达的观点进行分类的过程，以确定文本对某个主题的态度是积极的、消极的还是中立的。
（5）立场分析是情感分析的一个更强大的版本，它提取个人和社会文化信息，如情感、社会关系、价值观、信心、人的类别（即第一人称对第三人称）、叙述风格和时间性（指过去、现在或未来的趋势）。
随着文本分析方法的丰富，将改变开源情报分析的面貌，允许对大量数据进行更快速的分析。此外，大部分军事作战数据（如sitrep）以半结构化或非结构化文本的形式出现，因此易于计算的文本分析。此外，非文本数据现在可以通过机器学习和人工智能方法进行分类和分析。自动图像分析的进展，包括对类似于ISR捕获的航空图像进行分类的能力。同时，媒体（音频和视频）内容的自动处理的新发展也允许对该在线内容进行分类、索引和分析。虽然图像、音频和视频的分析工具还处于初级阶段，但这有望开辟更多的数据宝库，洞察敌人的认知状态、情感和交流。
【结论3】稳态和预防性“非战斗”任务
许多特种作战部队的行动都是为预防地区不稳定而执行的非战斗任务。如在萨尔瓦多，特种作战部队从1981年至1992年一直维持训练和咨询任务。如今，在美国南部指挥区作战的特种部队仍将重点放在合作伙伴的长期能力建设上，而在美国非洲指挥区作战的特种部队则至少在某种程度上把重点放在预防冲突上。
对这些类型的特种作战行动的评估，虽然MOE和指标是类似的，但分析的时间线可能需要以年为单位来衡量，而不是以三个月为单位，分析方法的类型也会有所不同。对于这些类型的行动，仿照发展和执法专业人员使用的评估方法可能是最合适的。另一个考虑是，这些剧院的一些主要活动可能纯粹是筹备性的，因此不能从实现其最终目标的角度来评估。中间目标，如获取、知识和安置的程度，必须根据一个确定的、可辩护的充分性基准来衡量。
结 语
总而言之，要灌输一种严谨、冷静的评估文化，特种部队领导层必须采取一套全面的措施，如本文所述，从纳入理论到组织变革，再到培训和教育，再到在实地例行实施的最终目标。
