跳到主要内容

灰度发布与回滚

本文用于整理大模型上线过程中的灰度发布和回滚机制。

待展开内容:

  • 为什么模型上线需要灰度
  • shadow traffic
  • canary release
  • A/B test
  • 模型版本路由
  • prompt 版本和模型版本的关系
  • 指标门禁
  • 自动回滚和手动回滚
  • 灰度期间的数据采集
  • 线上问题复现