Apple 演示用 MLX 与 RDMA 在 Mac Studio 上本地及多机运行大模型推理
Apple 机器学习研究团队发布教程，演示用最新版 MLX 与 RDMA over Thunderbolt 在 Mac Studio 上本地及跨机运行大模型推理，816B 参数的 MoE 模型 Muse Spark Open 在四台 M5 Ultra 上生成速度达 36.73 tokens/s。
推荐理由：原文在同一基准下对比 M3 Ultra 与 M5 Ultra 单机及多机并行的表现，读者可据此估算在 Mac Studio 上本地运行大模型所需的机器数量与速度。