传统神经网络架构
传统神经网络主要包括前馈神经网络（FFNN）、卷积神经网络（CNN）与循环神经网络（RNN）。它们分别擅长处理结构化特征、具有空间局部相关性的图像与时间依赖的序列数据，构成了深度学习在视觉、语音与自然语言等领域的基础。
1. 前馈神经网络（FFNN）
- 结构：多层感知机（MLP）由若干全连接层叠加构成，层间以非线性激活分隔，参见 前馈神经网络。
- 特点：表达能力强、实现简单，但参数量随输入维度快速增长；对局部不变性与长依赖捕捉不足。
- 应用：表格数据建模、嵌入映射与小型分类回归任务。
2. 卷积神经网络（CNN）
- 结构：通过卷积核在局部感受野内共享权重，并配合池化层与归一化层，参见 卷积神经网络。
- 特点：参数共享、局部连接、平移不变性；对图像/视频等栅格化数据极为有效。
- 代表：LeNet、AlexNet、VGG、ResNet、DenseNet 等。
- 局限：难以高效捕捉全局依赖；对长序列的远程关系建模能力不足。
3. 循环神经网络（RNN）
- 结构：通过隐藏状态递归更新建模序列依赖，参见 循环神经网络；LSTM/GRU 通过门控缓解梯度消失。
- 特点：天然适配序列，但并行性差、长程依赖捕获困难。
- 应用：早期语音识别、语言模型、时间序列预测。
4. 工程与训练考量
- 并行与吞吐：CNN 可大规模并行；RNN 难以批内并行；FFNN 介于两者之间。
- 参数与内存：大卷积核/高分辨率显著增大显存占用；可用分辨率金字塔与空间降采样权衡。
- 正则化：数据增强（图像增广、时序抖动）、dropout、权重衰减。
5. 与 Transformer 的关系
- 互补：CNN 在局部模式提取上仍具优势；Transformer 擅长全局建模与跨模态对齐。
- 融合：ConvNext、Conformer 等架构融合卷积与注意力机制以兼顾效率与表达。