《Cognitive Electronic Warfare An Artificial Intelligence Approach》第三章的读书笔记。

目录

人工智能是计算机科学中的一个领域，取材于数学、工程和神经科学。机器学习（ML）只是众多子领域中的一个子领域，而人工神经网络(ANN)则是ML中分支中的一个。

“人工智能”不是“深度学习”的同义词。

$$AI⊃ML⊃DL$$

认知电子战技术利用机器学习对频谱进行建模，并学习如何有效地规划和优化。如果没有这种能力，电子战系统将无法处理新的发射源。

机器学习算法使用经验数据来学习空间模型。步骤如图：

机器学习算法通常分为有监督和无监督两种。是否有监督（supervised），就看输入数据是否有标签（label）。输入数据有标签，则为有监督学习；无标签则为无监督学习。

有监督学习中，因为输入和输出已知，意味着输入和输出之间有一个关系 $f : X → Y$，监督学习算法就是要发现和总结这种“关系”。

无监督学习是指对无标签数据的一类学习算法。因为没有标签信息，意味着需要从数据集中发现和总结模式或者结构。

半监督学习方法(Semi-supervised)有少量的标记样本和许多未标记的样本。

1. 常用机器学习算法

1.1支持向量机(SVM)

支持向量机是一类最大似然方法，用于聚类、分类、回归和异常值检测。支持向量机具有很高的聚类性能，特别是对于复杂的非线性关系和可用训练数据有限的情况。

支持向量机算法的决策函数中使用训练数据点的子集（称为支持向量（support vectors））。每个支持向量机构造一个决策函数，用于估计决策边界，即所谓的最大边际超平面（maximum-margin hyperplane），以及该超平面周围可接受的硬边界或软边界。支持向量是边界上的样本，如图3所示：

支持向量机通过使用核函数（kernel functions）完成非线性分类，将其输入映射到高维特征空间。

1.2 人工神经网络(ANN)

人工神经网络算法模拟神经元及其相互连接，以复制大脑的学习方式。反向传播算法实现了多层网络的训练：通过修改每个节点的权重来将误差项反向分布到各层。

ANN由输入层、隐藏层和输出层组成，层数是指网络的深度。现代的人工神经网络通常有很多层，因此被称深度网络(DeepNets)。DeepNets可以发现人类无法提取的复杂模式或潜在特征。

常见的DeepNet架构：

• 卷积神经网络(CNN)。典型的CNN由三种类型的层组成：卷积层、池化层和全连接层。卷积层通过卷积操作对输入图像进行降维和特征抽取。池化层简化了数据处理，缩减模型大小并降低过拟合。全连接层将一层中的每个神经元连接到下一层中的每个神经元，起到将学到的“分布式特征表示”映射到样本标记空间的作用。

• 递归神经网络(RNN)$^*$属于一类用于处理序列数据的神经网络。RNN具有反馈连接，通过保存存储器的内部状态来保留其输入数据的时间特性。

• 时态CNN处理与序列相关、与时间相关和与记忆相关的深度学习，有替代RNN的趋势。

• 自编码器学习，使用高效的数据编码并构建模型。自编码器试图从简化的编码中生成尽可能接近其原始输入的表示，能有效地学习消除噪声，经常用作异常检测器。

• Siamese神经网络在多个网络上使用相同的权重，而在不同的输入数据上进行训练。与其他方法相比，它们需要更少的训练数据。

• Kohonen网络，也称为自组织映射(SOM)，产生输入空间的低维表示，用于降维和可视化。

• 生成性对抗性网络(GAN)是由两个相互竞争的神经网络组成的系统，每个神经网络都试图提高预测的准确性。生成网络的目标是愚弄判别网络。GAN通常用于创建合成数据。

模型评估自身置信度的能力很重要。

2. 组合方法(ensemble methods)

使用多个分类器可以提高预测精度，

常见的组合方法包括装袋算法（bagging）$^*$、提升方法（Boosting）和贝叶斯模型平均。装袋算法给组合中的每个模型都赋予了同等的权重，Boosting通过训练每个新模型来强调以前模型错误分类的训练实例，从而增量地构建组合，贝叶斯模型平均使用基于每个模型的后验概率的权重加权。

3. 混合机器学习(Hybrid ML)

符号人工智能（Symbolic AI）操作人类可读的符号，而非符合人工智能操作原始数据。决策树在本质上是非符号的，而DeepNet通常是符号性的。

混合算法将两者结合起来，利用符号知识构造特征，缩小搜索空间，提高搜索效率，对得到的模型进行解释，也被称为基于知识的机器学习或神经符号人工智能。

混合方法本质上“引导”了学习过程。分析模型提供了对结果有根据的猜测，经验数据改进了预测以与观察到的结果相匹配。混合方法使学习系统即使在没有训练数据的情况下也能工作。

DeepNets识别数据中的潜在特征，而经典的机器学习方法依赖于表面的特征。

4. 开集分类(Open-Set Classification)

开集分类技术在初始模型被训练之后，在分类过程中创建新的类。这可以用来处理分类过程中遇到的未知数据。

在电子战任务中，任务过程中会遇到新的发射器，系统设计必须有从一两个例子中学习新模型的技术。

5.泛化与元学习(Generalization and Meta-learning)

泛化指的是模型能够适当地适应新的、以前未见过的数据，这些数据来自与用于创建模型的分布相同的分布。过度拟合意味着模型捕获训练数据太好，因此不能很好地处理新数据，而拟合不足则不能很好地捕获训练数据。良好的泛化意味着在不足和过度拟合数据之间找到正确的权衡。

元学习，是通过调整控制算法如何工作的超参数来控制过拟合和欠拟合。每个算法都有自己的超参数，例如决策树调整MaxDepth和MinSamples，而支持向量机调整$C$和$γ$(错误分类代价和单个数据的影响)，DeepNet可能会使用提前停止（early stopping）和激活丢弃（activation dropout）$^*$。

2和3中提到的组合方法和混合方法也有利于防止过拟合和欠拟合。

6. 算法权衡

选择算法时需要解决的问题：

机器学习算法设计经验：

• 在预测未来时，较大的复杂模型往往更准确地捕捉到绩效表面。在试图解释时，越小越简洁的模型越好。

• 当训练实例数量有限时，而经典的机器学习方法可能更有用。当训练实例数量多，训练时间充裕时，DeepNets可以更好发挥作用。