1 篇文档带有标签「batch」

大模型推理服务中并发、批处理、吞吐和延迟之间的工程取舍。