个人笔记:神经网络中“升维与降维”

TL;DR

  • 升维不创造新信息,而是改变信息的表达方式,让隐含关系显式化,并提供更大的计算空间。
  • 降维不是单纯丢弃信息,而是过滤噪声,提取对当前任务最有用的高语义密度特征。
  • 本质:模型在不断寻找一个更适合解决当前任务的几何空间(坐标系),让复杂问题简单化。

一、 常见误区澄清

  • 误区:升维是为了塞更多参数/堆料?降维就是压缩导致信息损失?
  • 真相(信息论视角):
    • 确定性的升维变换不可能凭空创造关于样本的新信息,原始输入的信息上限是固定的。
    • 模型关心的不是“信息总量”,而是 “信息是否处于适合当前计算的坐标系中”。

二、 升维的本质:摊开关系与提供计算空间

1. 把隐含关系“摊开”(换坐标系)

  • 痛点:现实数据中,有用的结构往往不是线性模型喜欢的样子(例如:判断 $x, y$ 是否同号,在二维平面是非线性的)。
  • 解法:通过升维(如映射到 $x, y, xy$ 三维空间),将隐藏的交互关系(乘积 $xy$)显式展开为一个独立的坐标轴。
  • 类比:就像把压缩包解压,文件变多了、占空间了,但信息没变,只是变成了易于访问和操作的状态。这也是传统机器学习中 SVM 核技巧的核心直觉。

2. 提供“计算工作台”(以 Transformer FFN 为例)

  • 现象:Transformer 的 FFN 层通常将维度放大 4 倍(如 768 -> 3072),然后再降回来。
  • 作用:高维空间提供了一个展开特征、做非线性组合的工作台。
  • 类比:厨师做菜。小碗(低维)施展不开,大案板(高维)可以把食材摊开、切碎、混合。
  • 实质:制造更多中间计算通道,让不同神经元并行响应不同的模式(如语法、情绪、代码缩进等)。

3. 激活参数中的“先验知识”

  • 升维增加的大量参数,存储了模型从海量训练数据中学到的统计规律和变换规则。
  • 当输入进入高维空间,实际上是当前样本与模型历史经验(参数)发生复杂反应的过程(例如:多义词 "bank" 在高维空间根据上下文激活金融或地理语义方向)。

三、 降维的本质:去噪与特征提纯

1. 丢掉无关自由度(去噪)

  • 痛点:原始数据包含大量与任务无关的“垃圾信息”(如照片的背景纹理、光照噪声、压缩伪影)。
  • 作用:降维的核心是过滤掉无关细节,只保留任务相关的核心结构。
  • 类比:认人不需要记住每个毛孔,只需提取轮廓和五官比例;做书籍摘要字数少,但理解效率更高。

2. 提高“语义密度”(以 CNN 为例)

  • 过程:通过卷积和池化不断下采样,空间分辨率降低,但语义层级升高(边缘 -> 纹理 -> 部件 -> 物体概念)。
  • 结果:表面上信息量少了,实际上任务需要的东西更集中、更抽象、更稳定、更有判别力。

四、 升降维的协同:表示学习的核心范式

神经网络的基本工作方式:先展开 -> 再筛选 -> 再压缩。

常见模型结构印证:

模型结构升降维逻辑核心目的
Transformer (MLP)低维 → 高维 → 激活 → 低维在中间层完成复杂特征加工与非线性组合
AutoEncoder输入 → 降维(瓶颈) → 升维(解码)提取核心语义,再重建细节
U-Net下采样(降) + 上采样(升) + 跳跃连接提取全局语义,同时保留并恢复局部空间细节
推荐系统稀疏特征 → Dense(升) → 交互 → 排序(降)特征交叉与最终判别

五、 总结

“一张皱巴巴的地图,信息都在,但你很难用。把它摊平、标注、重新投影,并没有增加地理事实,但会让导航变得可行。”

  • 升维 = 摊平与展开(寻找合适的坐标系,让纠缠的模式分开)。
  • 降维 = 抽象与压缩(压掉杂乱噪声,让复杂任务变成简单的几何问题)。
  • 参数 = 从历史数据学来的投影规则。
  • 非线性 = 真正改变几何结构的动力。

结论:不要只盯着维度数字的变化。神经网络最强大的能力,不是暴力拟合,而是学会了中间应该怎么表示这个世界——这个世界被重新摆放了一遍。