神经网络核心知识点总结

整理自对话学习,涵盖机器学习理论基础与神经网络架构设计。


目录

  1. 版本空间与假设空间
  2. 噪声数据下的归纳偏好设计
  3. 测试集与验证集
  4. ROC 与 AUC
  5. 激活函数全览
  6. 激活函数在神经网络中的位置
  7. 全局平均池化 GAP
  8. 全连接层 FC
  9. 网络宽度
  10. 多通道卷积
  11. Channel Shuffle
  12. 抑制过拟合的六种方法

1. 版本空间与假设空间

1.1 定义

概念定义是否依赖数据
假设空间 (Hypothesis Space)学习器可能考虑的所有假设的集合,即所有可能逼近目标函数的函数的集合❌ 只由属性定义决定
版本空间 (Version Space)假设空间中与所有训练数据一致的那些假设构成的子集✅ 随训练数据增加而缩小

1.2 形式化定义

$$VS_{H,D} = {h \in H \mid \text{Consistent}(h, D)}$$

1.3 边界表示

  • G 边界 (General Boundary):版本空间中最一般的假设集合(覆盖最多正例,不覆盖任何负例)
  • S 边界 (Specific Boundary):版本空间中最特化的假设集合(只覆盖观察到的最少正例)
  • 版本空间定理:版本空间恰好包含所有位于 S 边界和 G 边界之间的假设

1.4 核心直觉

学习就是从假设空间中搜索出与数据一致的版本空间的过程。训练数据越多,版本空间越小,直到理想情况下收敛到唯一的目标概念。

1.5 实际意义

  • 归纳偏置:假设空间的设计本质上就是归纳偏置的选择
  • 样本复杂度:版本空间的大小反映模型不确定性
  • PAC 学习:版本空间是 PAC 学习理论的基础

2. 噪声数据下的归纳偏好设计

2.1 问题

当数据有噪声时,版本空间可能为空——不存在任何假设与所有训练样本一致。

2.2 五种方案

方案核心思想数学形式代表算法
最小化经验误差 (ERM)寻找犯错最少的假设$\hat{h} = \arg\min_{h \in H} \sum_i \mathbb{1}[h(x_i) \neq y_i]$感知机、决策树
奥卡姆剃刀 + 正则化误差相近时偏好更简单的假设$\hat{h} = \arg\min_{h} [\sum \ell(h(x_i), y_i) + \lambda \Omega(h)]$剪枝决策树、L1/L2 回归
最大间隔 (Maximum Margin)偏好离分类边界尽可能远的假设$\hat{h} = \arg\max_{w,b} \min_i \text{distance}(x_i, \text{boundary})$SVM
最小描述长度 (MDL)好的假设 = 好的压缩方案$\hat{h} = \arg\min_{h} [L(h) + L(D \mid h)]$贝叶斯网络
贝叶斯方法不是选一个假设,而是对所有假设加权平均$P(h \mid D) \propto P(D \mid h) \cdot P(h)$朴素贝叶斯、高斯过程

2.3 统一视角:结构风险最小化

$$\hat{h} = \arg\min_{h \in H} \left[ \text{EmpiricalRisk}(h) + \lambda \cdot \text{Complexity}(h) \right]$$


3. 测试集与验证集

3.1 三层划分

训练集 (Train)验证集 (Val)测试集 (Test)
用途学习模型参数调超参、选模型、早停最终评估泛化能力
使用频次反复迭代多次(每次调参后)只看一次
能否影响模型✅ 直接影响⚠️ 间接影响(通过超参选择)❌ 绝不能影响
比喻做练习题模拟考试高考

3.2 为什么需要独立的测试集

验证集虽然不直接更新参数,但通过反复用它做决策(选超参、选模型、早停),开发者在以"验证集性能"为目标函数做人工梯度下降——验证集不再是模型泛化能力的无偏估计。

3.3 常见划分策略

  • 简单留出法:训练 70% | 验证 15% | 测试 15%
  • K 折交叉验证:数据量较小时轮换验证折
  • 分层采样:确保每个集合中的类别比例与原始数据一致

4. ROC 与 AUC

4.1 基本定义

$$\text{TPR(真正例率)} = \frac{TP}{TP + FN} = \text{Recall} = \text{Sensitivity}$$

$$\text{FPR(假正例率)} = \frac{FP}{FP + TN} = 1 - \text{Specificity}$$

4.2 ROC 曲线

以 FPR 为横轴、TPR 为纵轴,描绘分类器在不同判定阈值下的表现。

4.3 AUC

AUC = ROC 曲线下的面积

$$\text{AUC} = P(\text{正样本的预测分数} > \text{负样本的预测分数})$$

  • AUC = 0.5:随机猜测
  • AUC = 1.0:完美分类器

4.4 为什么用 TPR 和 FPR

  1. 类别不平衡不敏感:TPR 和 FPR 各自"除以自己的总数",独立归一化
  2. 衡量本质能力:TPR 是发现正例的能力,FPR 是误伤负例的代价
  3. 概率独立:分别对正例集和负例集条件化,互不约束
  4. 历史沿革:源自雷达信号检测论,框架天然吻合

4.5 ROC 曲线能看出的信息

  • 整体判别能力(AUC)
  • 不同阈值下的代价-收益权衡
  • 曲线形状揭示正负例分布分化模式
  • 多模型比较(全局和局部)
  • 最佳阈值选择(根据成本结构)
  • 识别过拟合(训练 vs 测试 ROC 差距)
  • 数据问题诊断(异常形态)

5. 激活函数全览

5.1 Sigmoid 系列

Sigmoid

  • 公式:$\sigma(x) = \frac{1}{1 + e^{-x}}$
  • 输出范围:(0, 1)
  • 优点:输出有界、概率语义直观、导数简算
  • 缺点:梯度饱和、非零中心、exp 计算慢
  • 适用场景:二分类输出层、LSTM/GRU 门控

Tanh

  • 公式:$\tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$
  • 输出范围:(-1, 1)
  • 优点:零中心(收敛比 Sigmoid 稳定)、梯度更陡
  • 缺点:仍会饱和、exp 开销大
  • 适用场景:RNN/LSTM 隐藏层、GAN 生成器输出

5.2 ReLU 家族

ReLU

  • 公式:$\text{ReLU}(x) = \max(0, x)$
  • 优点:解决梯度消失(正区间导数恒为 1)、计算极快、稀疏激活
  • 缺点:Dying ReLU(神经元可能永久死亡)、非零中心
  • 适用场景:CNN 默认选择、大多数前馈网络隐藏层

Leaky ReLU

  • 公式:$\text{LReLU}(x) = \max(\alpha x, x), \alpha \approx 0.01$
  • 优点:解决 Dying ReLU
  • 缺点:$\alpha$ 需手动调参
  • 适用场景:怀疑有大量死神经元时

PReLU(Parametric ReLU)

  • 特点:$\alpha$ 是可学习的参数
  • 适用场景:大规模数据集

RReLU(Randomized Leaky ReLU)

  • 特点:$\alpha$ 训练时随机采样,自带正则化
  • 适用场景:数据量偏小需要正则化

ELU

  • 公式:$\text{ELU}(x) = \begin{cases} x & x > 0 \ \alpha(e^x - 1) & x \leq 0 \end{cases}$
  • 优点:输出均值接近零(加速收敛)、有负区间下界(鲁棒)、处处光滑
  • 缺点:exp 计算较慢
  • 适用场景:深度 CNN 追求更高精度

SELU(Scaled ELU)

  • 特点:配合特定初始化可实现自归一化(每层输出均值=0、方差=1)
  • 缺点:条件苛刻(需要特定初始化和全连接架构)
  • 适用场景:深度全连接网络(无 BatchNorm)

5.3 Softmax

  • 公式:$\text{Softmax}(x_i) = \frac{e^{x_i}}{\sum_j e^{x_j}}$
  • 优点:概率语义清晰、可微的 argmax 近似
  • 缺点:数值不稳定(需减去 max)、小概率饱和
  • 适用场景:多分类输出层、Attention 机制

5.4 Swish / GELU 系列

Swish (SiLU)

  • 公式:$\text{Swish}(x) = x \cdot \sigma(x)$
  • 特点:非单调(负区间有微小"凹谷")、自门控机制
  • 适用场景:EfficientNet / MobileNet 高效架构

Hard-Swish

  • 特点:Swish 的高效近似(无 exp)
  • 适用场景:移动端/嵌入式部署

GELU

  • 公式:$\text{GELU}(x) = x \cdot \Phi(x)$
  • 特点:概率意义上的门控,$P(X \leq x)$ 大的输入通过更多
  • 适用场景:Transformer 标配(BERT、GPT 全系列)

5.5 其他

Maxout

  • 公式:$\text{Maxout}(x) = \max(w_1^T x + b_1, ..., w_k^T x + b_k)$
  • 优点:通用逼近任意凸函数
  • 缺点:参数量 ×k,基本已被淘汰

Sin(SIREN)

  • 特点:周期函数,天然拟合周期信号,所有阶导数有界
  • 适用场景:隐式神经表示(3D 形状/场景建模)

5.6 实践建议速查

模型类型推荐激活函数
CNNReLU(默认)、Swish(高精度)
ResNetReLU
EfficientNetSwish
MobileNet V3Hard-Swish
TransformerGELU(唯一答案)
LSTM/GRUSigmoid(门)+ Tanh(状态)
输出层二分类Sigmoid
输出层多分类Softmax
输出层回归Linear(无激活)

6. 激活函数在神经网络中的位置

6.1 精确位置

激活函数位于线性变换之后,对神经元的加权和做非线性映射:

  1. 线性组合:$z = \sum_i w_i x_i + b$
  2. 非线性激活:$a = f(z)$

$a$ 是该神经元的最终输出,也是下一层神经元的输入。

6.2 向量形式

$$\mathbf{z}^{(l)} = W^{(l)} \mathbf{a}^{(l-1)} + \mathbf{b}^{(l)}$$ $$\mathbf{a}^{(l)} = f\left(\mathbf{z}^{(l)}\right)$$

6.3 关键点

  • 激活函数在 $Wx + b$ 之后
  • 激活函数的输出就是下一层的输入
  • 如果没有非线性激活函数,多层线性变换退化为单层线性变换(深度失去意义)

7. 全局平均池化 GAP

7.1 定义

把特征图的每个通道压缩成一个标量(取该通道所有空间位置的平均值):

$$\text{GAP}(\text{通道 } k) = \frac{1}{H \times W} \sum_{i=1}^{H} \sum_{j=1}^{W} F_{ij}^{(k)}$$

7.2 GAP vs Flatten + FC

Flatten + FCGAP
参数量巨大0
过拟合风险高低
输入尺寸必须固定任意尺寸
可解释性差✅(可与 CAM 配合)

7.3 为什么有效

  • 每个通道 = 一个"检测器"的激活图,平均激活强度 = 该概念在图片中出现的总体程度
  • 强制通道与类别一一对应(NIN 的核心洞见)
  • 天然输入尺寸无关

8. 全连接层 FC

8.1 定义

FC (Fully Connected) = 全连接层 = Dense Layer = Linear Layer

前一层每个神经元都连接到后一层每个神经元:

$$\mathbf{y} = W\mathbf{x} + \mathbf{b}$$

8.2 与卷积层的对比

FCConv
连接方式全连接(每个输入→每个输出)局部连接(滑动窗口)
参数量巨大少(卷积核共享)
对空间位置无概念保留空间结构
输入尺寸必须固定任意

8.3 为什么需要固定输入维度

$W$ 的维度在定义时就固定了(矩阵乘法的定义要求),$W$ 的列数必须等于 Flatten 后的向量长度 $H \times W \times C$,因此输入图片尺寸必须固定。

8.4 现代替代方案

GAP 替代 Flatten → 输出维度仅取决于通道数 C(固定)→ 不再依赖空间尺寸 H,W → 输入可以是任意尺寸。


9. 网络宽度

9.1 定义

宽度 = 某一层卷积核的个数 = 该层输出 feature map 的通道数。

网络的最大宽度由通道数最多的那层决定。

9.2 为什么宽度随深度逐层增加

  1. 跷跷板关系:空间分辨率缩小(池化、stride=2)→ 需要更多通道补偿信息容量
  2. 词汇量增长:浅层学简单低级特征(词汇量小),深层学复杂高级语义(词汇量暴增)
  3. 检测器多样性:深层需要同时检测大量不同的高级语义概念

9.3 为什么通道数是 8 的倍数

纯硬件优化原因:

  • GPU 线程束(Warp)以 32 个线程为一组
  • Tensor Core 以 8×8 或 16×16 矩阵块为单位运算
  • 128-bit 内存总线一次读取 16 字节 = 4 个 float32 = 8 个 float16
  • cuBLAS 对 8 的倍数的维度做了大量优化

实际中通常直接用 2 的幂次:[32, 64, 128, 256, 512, 1024, 2048]。


10. 多通道卷积

10.1 核心认知

一个卷积核是 3D 的:$k \times k \times C_{in}$(其"深度"必须等于输入通道数)。

10.2 一个卷积核的工作流程

每个通道用核的对应"层"去卷,所有通道的卷积结果求和:

$$\text{output}[i,j] = \sum_{c=0}^{C_{in}-1} \sum_{p=0}^{k-1} \sum_{q=0}^{k-1} \text{input}[c, i+p, j+q] \times \text{kernel}[c, p, q] + \text{bias}$$

关键:三个通道的结果是求和(sum),不是拼接(concat)。

10.3 N 个卷积核

  • 每个卷积核独立学习自己的 $k \times k \times C_{in}$ 参数
  • N 个卷积核 → 输出 N 个通道

10.4 权重形状

在 PyTorch 中,卷积层权重形状为:

(C_out, C_in, kernel_height, kernel_width)

10.5 规律

  • 每个卷积核的通道数 = 输入通道数 ($C_{in}$)
  • 卷积核的个数 = 输出通道数 ($C_{out}$)
  • 参数量 = $C_{out} \times (k \times k \times C_{in} + 1)$

11. Channel Shuffle

11.1 来源

ShuffleNet 中首次提出,用于解决分组卷积中不同组之间信息不流通的问题。

11.2 操作流程

以 (1, g×c, H, W) 为例(g 组,每组 c 个通道):

原始: (1, g×c, H, W)

  ↓ reshape

(1, g, c, H, W)  ← 把通道拆成"组 × 每组通道"

  ↓ transpose(转置中间两个维度)

(1, c, g, H, W)  ← 每个新位置从各组各取一个通道

  ↓ reshape

(1, g×c, H, W)   ← 通道被重新排列,不同组的交替出现

11.3 实质

不增加任何参数、不产生任何计算量,仅靠"重排内存"就让分组卷积的组间信息流动起来。

11.4 直观理解

  • 原始:[红红红 绿绿绿 蓝蓝蓝] — 同组挤在一起
  • Shuffle 后:[红绿蓝 红绿蓝 红绿蓝] — 不同组的交替排列
  • 效果:再次分组卷积时,每组都能看到来自所有原始组的信息

12. 抑制过拟合的六种方法

12.1 方法对比

方法作用层面核心机制实现难度
L1/L2 正则化参数大小损失函数加惩罚项限制权重极低
Early Stopping训练时长验证集误差上升时停止低
参数共享模型结构多位置使用同一组参数,压缩假设空间架构级
Dropout神经元激活随机丢弃神经元,破坏共适应 + 隐式集成极低
Batch Normalization层间数据分布标准化 + 噪声注入 + 优化平坦解中
Bagging/集成模型级多个模型平均,削减方差高

12.2 L1 vs L2

L2 (Ridge)L1 (Lasso)
惩罚项$|\mathbf{w}|_2^2 = \sum w_i^2$$|\mathbf{w}|_1 = \sum |w_i|$
作用权重接近 0 但不为 0不重要权重精确归 0
稀疏性❌✅
何时用特征高度相关时只有少数特征有用时

12.3 Early Stopping 的关键参数

  • Patience:容忍多少个 epoch 不改善(一般 5-20)
  • 保存最佳模型:停止 ≠ 使用最后一个模型,应回溯到最优 checkpoint

12.4 Dropout 的三种解释

  1. 集成学习近似:每次 Dropout = 一个子网络,训练完对 $2^n$ 个子网络隐式平均
  2. 打破共适应:每个神经元必须独立有用(搭档随时"请假")
  3. 噪声注入:伯努利乘性噪声迫使学习鲁棒表示

12.5 Batch Normalization 的正则化来源

  1. Mini-batch 统计量的噪声(小 batch → 噪声大 → 正则化强)
  2. 允许更大学习率(LR 大本身有正则化效果,倾向于找平坦极小值)
  3. 减少对 Dropout 和初始化的依赖

12.6 Bagging 的方差削减原理

$$\text{Var}(\bar{f}) = \frac{1}{K^2}\left(\sum_i \text{Var}(f_i) + \sum_{i \neq j} \text{Cov}(f_i, f_j)\right)$$

  • 模型完全独立:方差降到 $1/K$
  • 通过 Bootstrap 采样制造差异性 → 降低 Cov → 提高方差削减效果

12.7 统一视角

所有过拟合抑制方法最终归结为偏差-方差权衡:

所有正则化方法都在用不同方式增大一点偏差来换取方差的大幅下降。

现代深度网络的标准配置:BN + Dropout + L2 + Early Stopping 的组合拳。


附录:常用术语速查

缩写全称中文
FCFully Connected全连接层
GAPGlobal Average Pooling全局平均池化
BNBatch Normalization批归一化
ROCReceiver Operating Characteristic受试者工作特征曲线
AUCArea Under the Curve曲线下面积
TPRTrue Positive Rate真正例率
FPRFalse Positive Rate假正例率
ReLURectified Linear Unit整流线性单元
GELUGaussian Error Linear Unit高斯误差线性单元
ELUExponential Linear Unit指数线性单元
MDLMinimum Description Length最小描述长度
ERMEmpirical Risk Minimization经验风险最小化
SRMStructural Risk Minimization结构风险最小化