个人笔记:神经网络中“升维与降维”
TL;DR
- 升维不创造新信息,而是改变信息的表达方式,让隐含关系显式化,并提供更大的计算空间。
- 降维不是单纯丢弃信息,而是过滤噪声,提取对当前任务最有用的高语义密度特征。
- 本质:模型在不断寻找一个更适合解决当前任务的几何空间(坐标系),让复杂问题简单化。
一、 常见误区澄清
- 误区:升维是为了塞更多参数/堆料?降维就是压缩导致信息损失?
- 真相(信息论视角):
- 确定性的升维变换不可能凭空创造关于样本的新信息,原始输入的信息上限是固定的。
- 模型关心的不是“信息总量”,而是 “信息是否处于适合当前计算的坐标系中”。
二、 升维的本质:摊开关系与提供计算空间
1. 把隐含关系“摊开”(换坐标系)
- 痛点:现实数据中,有用的结构往往不是线性模型喜欢的样子(例如:判断 $x, y$ 是否同号,在二维平面是非线性的)。
- 解法:通过升维(如映射到 $x, y, xy$ 三维空间),将隐藏的交互关系(乘积 $xy$)显式展开为一个独立的坐标轴。
- 类比:就像把压缩包解压,文件变多了、占空间了,但信息没变,只是变成了易于访问和操作的状态。这也是传统机器学习中 SVM 核技巧的核心直觉。
2. 提供“计算工作台”(以 Transformer FFN 为例)
- 现象:Transformer 的 FFN 层通常将维度放大 4 倍(如 768 -> 3072),然后再降回来。
- 作用:高维空间提供了一个展开特征、做非线性组合的工作台。
- 类比:厨师做菜。小碗(低维)施展不开,大案板(高维)可以把食材摊开、切碎、混合。
- 实质:制造更多中间计算通道,让不同神经元并行响应不同的模式(如语法、情绪、代码缩进等)。
3. 激活参数中的“先验知识”
- 升维增加的大量参数,存储了模型从海量训练数据中学到的统计规律和变换规则。
- 当输入进入高维空间,实际上是当前样本与模型历史经验(参数)发生复杂反应的过程(例如:多义词 "bank" 在高维空间根据上下文激活金融或地理语义方向)。
三、 降维的本质:去噪与特征提纯
1. 丢掉无关自由度(去噪)
- 痛点:原始数据包含大量与任务无关的“垃圾信息”(如照片的背景纹理、光照噪声、压缩伪影)。
- 作用:降维的核心是过滤掉无关细节,只保留任务相关的核心结构。
- 类比:认人不需要记住每个毛孔,只需提取轮廓和五官比例;做书籍摘要字数少,但理解效率更高。
2. 提高“语义密度”(以 CNN 为例)
- 过程:通过卷积和池化不断下采样,空间分辨率降低,但语义层级升高(边缘 -> 纹理 -> 部件 -> 物体概念)。
- 结果:表面上信息量少了,实际上任务需要的东西更集中、更抽象、更稳定、更有判别力。
四、 升降维的协同:表示学习的核心范式
神经网络的基本工作方式:先展开 -> 再筛选 -> 再压缩。
常见模型结构印证:
| 模型结构 | 升降维逻辑 | 核心目的 |
|---|---|---|
| Transformer (MLP) | 低维 → 高维 → 激活 → 低维 | 在中间层完成复杂特征加工与非线性组合 |
| AutoEncoder | 输入 → 降维(瓶颈) → 升维(解码) | 提取核心语义,再重建细节 |
| U-Net | 下采样(降) + 上采样(升) + 跳跃连接 | 提取全局语义,同时保留并恢复局部空间细节 |
| 推荐系统 | 稀疏特征 → Dense(升) → 交互 → 排序(降) | 特征交叉与最终判别 |
五、 总结
“一张皱巴巴的地图,信息都在,但你很难用。把它摊平、标注、重新投影,并没有增加地理事实,但会让导航变得可行。”
- 升维 = 摊平与展开(寻找合适的坐标系,让纠缠的模式分开)。
- 降维 = 抽象与压缩(压掉杂乱噪声,让复杂任务变成简单的几何问题)。
- 参数 = 从历史数据学来的投影规则。
- 非线性 = 真正改变几何结构的动力。
结论:不要只盯着维度数字的变化。神经网络最强大的能力,不是暴力拟合,而是学会了中间应该怎么表示这个世界——这个世界被重新摆放了一遍。