神经元工作原理
神经元（Artificial Neuron）是神经网络的最小计算单元，其核心计算可以抽象为“加权求和 + 偏置平移 + 非线性激活”。从信息流角度，数据由上游层的输出经由权重矩阵传入当前层神经元，结合偏置项后通过激活函数产生输出；从向量化角度，单个神经元可表示为 y = σ(w·x + b)，多神经元并行构成一层，层与层之间通过张量运算实现高效计算。
1. 组成与数据流
- 输入：来自前一层的数值特征或原始信号，参见 输入、数据。
- 权重：描述输入维度对当前神经元的重要程度，参见 权重；权重矩阵的形状由输入维度与输出通道数共同决定。
- 偏置：提供平移自由度，帮助模型在输入为零时仍能产生非零响应，参见 偏置。
- 激活函数：提供非线性变换能力，避免网络退化为线性模型，参见 激活函数、Sigmoid激活函数。
- 输出：作为下一层的输入或作为最终预测结果，参见 输出。
在实现中，神经元通常按张量批处理执行，现代深度学习框架通过 CUDA/cuDNN 等库对矩阵乘法与逐元素激活进行高度优化。
2. 前向与反向传播
- 前向传播（Forward）：给定输入 x，计算 z = w·x + b，再计算 y = σ(z)。
- 反向传播（Backward）：利用链式法则计算参数梯度 (\partial L/\partial w, \partial L/\partial b)，并将误差信号向前层逐步传递。反向传播与自动微分框架（如 PyTorch/JAX）的计算图机制密切相关。
- 损失函数耦合：输出层的选择（例如分类的 Softmax + 交叉熵、回归的 均方误差）决定误差的度量与梯度形态，参见 误差、“03-深度学习模型训练与优化”。
3. 梯度流动与稳定性
- 梯度消失/爆炸：在深层网络中，梯度可能因链式法则中的连续乘积而迅速衰减或放大；激活函数选择（如 ReLU/GELU）与合适的初始化（He/Xavier）可缓解。
- 归一化：批归一化/层归一化稳定分布并改善收敛；对 RNN 类网络常使用层归一化。
- 残差连接：在深层架构（如 ResNet/Transformer）中通过恒等映射通道改善梯度传输。
4. 表达能力与可解释性
- 通用逼近：具有足够宽度的前馈网络可逼近任意连续函数；实际中更关心“有效可学习性”。
- 稀疏性与选择性：非线性激活诱导稀疏响应；注意力机制可解释性更强（参见“Transformer”条目）。
- 单元行为观测：通过特征可视化、对抗扰动分析与网络修剪评估神经元对任务的贡献。
5. 实践要点
- 初始化：保持各层方差稳定；避免早期饱和。
- 正则化：权重衰减、dropout 增强泛化能力。
- 数值精度：混合精度训练与张量核利用可提升效率，但要关注梯度 underflow/overflow。
6. 延伸阅读与链接
- Goodfellow et al., Deep Learning（神经元与反向传播章节）
- CS231n Notes: Backpropagation
- PyTorch Autograd
- 相关名词卡：神经元、神经网络、函数、变量、成员变量、构造函数