跳到主要内容

1 篇文档带有标签「continuous batching」

查看所有标签

并发与批处理

大模型推理服务中并发、批处理、吞吐和延迟之间的工程取舍。