计算模式
计算模式主要包含 云计算 与 端计算 两类，在延迟、成本、隐私与可扩展性上各有优势。工程选型通常结合业务 SLA、数据合规与预算综合考虑。
1. 云计算
- 优点：弹性伸缩、资源池化、快速上线；
- 挑战：成本波动、冷启动、数据出入站费用、合规边界。
2. 端计算
- 优点：低延迟、隐私、离线可用；
- 挑战：算力/存储受限、版本分发管理、能耗控制。
3. 协同架构
- 云边端协同：分层部署与模型切分；
- 模型压缩：蒸馏、剪枝与 GGUF模型量化；
- 缓存与同步：数据一致性与回传机制。
4. 选型建议
- 时延敏感 → 端/边优先；
- 成本敏感 → 混合部署与资源编排；
- 合规敏感 → 本地化与访问控制；
- 迭代快速 → 云端 CI/CD 与灰度机制。