跳到主要内容

模型部署流程

本文用于整理大模型从离线模型到线上服务的部署流程。

待展开内容:

  • 选择基座模型或微调模型
  • 确认许可证和使用边界
  • 下载和校验模型文件
  • tokenizer 与 chat template 检查
  • 量化或格式转换
  • 离线评估
  • 性能压测
  • 安全测试
  • 灰度发布
  • 回滚方案
  • 版本记录和复现