AWS Machine Learning Blog· Ananth Raghavendra·· 3 小时前AI 评分38
使用 Ray LLM 深度学习容器在 Amazon EKS 上运行多节点推理工作负载
Run multi-node inference workloads using Ray LLM Deep Learning Containers
AI 导读
AWS 推出多节点 Ray LLM 深度学习容器（DLC），支持在 Amazon EKS 上将单个大语言模型部署到两个 GPU 节点，通过一个 OpenAI 兼容端点实现预填充（prefill）与解码（decode）分离推理。
来源：AWS Machine Learning Blog · aws.amazon.com