跳到主要内容

硬件选型

本文用于整理不同 LLM 场景下的硬件选型方法。

待展开内容:

  • 本地实验硬件
  • 单卡微调硬件
  • 多卡训练硬件
  • 在线推理硬件
  • RAG 服务硬件
  • 多模态模型硬件需求
  • GPU 显存、带宽、互联、成本权衡
  • 云 GPU 与自建 GPU
  • 选型检查清单