跳到正文

技术方向

语音与音频 最新动态

AI 语音与音频:语音合成、实时语音对话、音乐生成与音频理解的模型与产品。

6 条精选近 30 天 4 条共收录 97 条

更新

语音与音频的精选

11月7日周六第 1–6 条
11月5日周四
  1. Hugging Face Blog69

    Gradium 发布端侧 TTS 模型 Phonon,在 Open TTS Leaderboard 多项指标领先

    Gradium 在 Hugging Face 博客回顾两周前开源的端侧文本转语音模型 Phonon,无需服务器和网络即可运行。模型有约 65 MB 和 75 MB 两个版本,支持英语、法语、德语、西班牙语和葡萄牙语,内置超过 100 种声音,其中 Phonon 31m 采用 Apache 2.0 许可可商用。

    推荐理由:官方详解 Phonon 端侧 TTS 的架构、许可与排行榜表现,可帮助读者评估小模型离线语音方案的适用性。

10月20日周二
  1. Mistral AI60

    Mistral 发布 Voxtral 3 语音模型系列与语音代理 SDK

    Mistral 发布 Voxtral 3,包含新一代语音转写与语音合成模型系列和一个语音代理 SDK,今日起可通过 Mistral API(欧洲、美国和全球端点)使用,并支持自部署以控制音频数据。

    推荐理由:原文附定价表和多组转录、TTS 对比基准,想搭建语音代理的读者可据此估算成本并权衡 API 与自部署。

10月19日周一
10月2日周五
  1. Suno · Blog67

    Suno 推出 Speech(beta),一条音轨同时生成语音与配乐

    Suno 推出 Speech(beta),官方称其为首个把语音与背景音乐合成为同一条完整音轨的音频模型,现已向所有用户开放。用户输入一段文字并描述想要的嗓音与音乐风格,即可生成配上原创背景音乐的朗读音频,该功能此前已小范围测试一个月。官方提示 beta 阶段口音和戏剧性停顿尚不稳定,将根据社区反馈持续改进。

    推荐理由:Suno 官方介绍了语音与配乐合为一条音轨的生成方式和用法,并坦承 beta 阶段口音与停顿还不稳定,可据此判断适用场景。

5月11日周一
  1. Thinking Machines Lab · News72

    Thinking Machines 宣布交互模型研究预览,TML-Interaction-Small 原生支持实时多模态协作

    Thinking Machines Lab 宣布交互模型研究预览,从零训练出 TML-Interaction-Small(276B 参数 MoE、激活 12B),可实时接收音频、视频和文本并即时回应。

    推荐理由:原文说明交互模型如何把实时互动内建到模型本身而非外部脚手架,并给出与主流实时模型在智能与响应上的基准对比。