机器学习算法分类
对机器学习进行系统分类有助于在真实业务中更快地匹配问题结构、数据约束与资源预算，并据此选择合适的模型族、优化策略与评估路径。常见维度包括监督信号、交互方式、任务目标与工程形态。
1. 按监督信号
- 监督学习：以标注数据为监督（见 监督机器学习算法）。
- 非监督学习：聚类、降维、主题模型与密度估计（见 非监督机器学习算法）。
- 自监督学习：掩码建模、对比学习，为大模型预训练提供可扩展监督。
- 半监督学习：少量标签 + 大量无标签联合训练。
2. 按交互方式
- 强化学习：状态—动作—奖励的序列决策（见 强化机器学习算法）。
- 离线学习：以静态日志训练，关注分布偏移与反事实；
- 主动学习：预算受限的标注选择；
- 在线学习：流式数据的持续更新与漂移应对。
3. 按任务目标
- 判别式：直接学习 p(y|x)，如分类/回归；
- 生成式：学习 p(x) 或 p(x,y)，支持生成与缺失值填补；
- 序列建模：语言建模、时间序列、事件预测；
- 多模态：跨模态对齐与联合建模。
4. 现代范式
- 预训练 → 微调：指令对齐、RLHF/RLAIF、PEFT（如 LoRA微调神经网络训练）；
- 检索增强：检索增强生成 提升事实性与时效性；
- 模块化：可插拔的编码器/重排器/生成器与评估管线。
5. 工程与评估
- 资源：GPU/显存预算、拓扑（Nvlink参数、PCIE参数）。
- 数据：标签成本、样本规模、噪声与偏差；
- 指标：离线—人评—在线一致性；
- 合规：Apache2.0许可证、LlamaCommunity许可证，隐私与数据境外合规。
6. 实践清单
- 需求澄清 → 方案备选 → 小样本试验 → 指标与样本级诊断 → 上线灰度 → 回滚与复盘；
- 构建知识库：与名词卡、案例与图谱联动，维护统一术语与链接网络。
7. 参考资料
- CS229/CS234/CS231n 课程；Spinning Up: https://spinningup.openai.com/
- scikit-learn、PyTorch、JAX、Hugging Face 生态与教程