跳到主要内容

存储与模型加载

本文用于整理模型文件存储和加载链路。

待展开内容:

  • HDD、SATA SSD、NVMe SSD
  • 模型权重体积
  • safetensors 分片加载
  • Hugging Face cache
  • 网络盘和本地盘
  • 启动时模型加载瓶颈
  • 多副本服务的模型分发
  • 容器镜像是否应该打包模型
  • 热加载和冷启动