跳到正文
  1. Hugging Face Blog69

    Gradium 发布端侧 TTS 模型 Phonon,在 Open TTS Leaderboard 多项指标领先

    Gradium 在 Hugging Face 博客回顾两周前开源的端侧文本转语音模型 Phonon,无需服务器和网络即可运行。模型有约 65 MB 和 75 MB 两个版本,支持英语、法语、德语、西班牙语和葡萄牙语,内置超过 100 种声音,其中 Phonon 31m 采用 Apache 2.0 许可可商用。

    推荐理由:官方详解 Phonon 端侧 TTS 的架构、许可与排行榜表现,可帮助读者评估小模型离线语音方案的适用性。

  1. Google Developers Blog62

    Google 发布 LiteRT Tensor API,用 C++ 手工构建端侧模型

    Google 发布 LiteRT Tensor API,作为 LiteRT 栈中的轻量 C++ 建图层,支持逐算子构建计算图,同一计算图可在 CPU、GPU 与 NPU 上运行,也可经 XNNPACK 无模型文件直接在 CPU 执行。

    推荐理由:为需要手工控制模型的开发者提供折中路径,同一份 C++ 计算图可跑 CPU、GPU 和 NPU,免去按后端重写的工程量。

  1. Apple Machine Learning Research65

    Apple 演示用 MLX 与 RDMA 在 Mac Studio 上本地及多机运行大模型推理

    Apple 机器学习研究团队发布教程,演示用最新版 MLX 与 RDMA over Thunderbolt 在 Mac Studio 上本地及跨机运行大模型推理,816B 参数的 MoE 模型 Muse Spark Open 在四台 M5 Ultra 上生成速度达 36.73 tokens/s。

    推荐理由:原文在同一基准下对比 M3 Ultra 与 M5 Ultra 单机及多机并行的表现,读者可据此估算在 Mac Studio 上本地运行大模型所需的机器数量与速度。

已经到底了