Apple Machine Learning Research·· 24 天前精选AI 评分65
Apple 演示用 MLX 与 RDMA 在 Mac Studio 上本地及多机运行大模型推理
Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio
AI 导读
Apple 机器学习研究团队发布教程，演示用最新版 MLX 与 RDMA over Thunderbolt 在 Mac Studio 上本地及跨机运行大模型推理，816B 参数的 MoE 模型 Muse Spark Open 在四台 M5 Ultra 上生成速度达 36.73 tokens/s。
推荐理由
原文在同一基准下对比 M3 Ultra 与 M5 Ultra 单机及多机并行的表现，读者可据此估算在 Mac Studio 上本地运行大模型所需的机器数量与速度。
来源：Apple Machine Learning Research · machinelearning.apple.com