Amazon 称新记忆方法有望降低聊天机器人成本
Amazon 研究员 Omar Sanseviero 在 X 发布研究称,将用户稳定事实内化进模型参数的“权重记忆”可减少每次查询读取的 token,效果匹敌或超越文本检索。最佳结果来自 verify-then-regenerate 路由器,在权重记忆与检索文本之间切换。该方案中文本检索在模型外存储原始笔记,学生模型内化稳定事实。
Amazon 研究员 Omar Sanseviero 在 X 发布研究称,将用户稳定事实内化进模型参数的“权重记忆”可减少每次查询读取的 token,效果匹敌或超越文本检索。最佳结果来自 verify-then-regenerate 路由器,在权重记忆与检索文本之间切换。该方案中文本检索在模型外存储原始笔记,学生模型内化稳定事实。
Amazon Science 在 GitHub 上发布了 Task-Tampering 基准,通过任务篡改攻击对间接提示词注入进行基准评测,攻击设定超越指令覆盖。
Amazon Science 与 Booking.com 合作,用知识蒸馏和 Medusa 框架加速旅行应用中的大语言模型。实验以 1.1B 参数的 TinyLlama 为学生、70B 参数的 Llama-3.1 为教师,最终模型匹配教师质量,推理提速 10-20 倍,成本不到三分之一。方案面向 AI Trip Planner、Smart Filters 和住宿描述生成三项功能。
Audible 技术团队用可控 TTS 改善有声书语音合成,让模型按自然语言描述控制对白演绎。其数据合成管线生成带语音描述的训练数据,BookLLM 自动识别书中角色与对白,英、西语识别准确率分别达 97% 和 94%。合成有声书在 MUSHRA 测试中对白区分度提高 3.7 分,英语和西班牙语测试中十种声音有八种聆听体验显著改善。
Amazon Web Services 团队在论文《Priming: Hybrid state space models from pre-trained Transformers》中提出 priming 方法,复用预训练 Transformer 权重构造混合架构,把此类架构的预训练成本降低超过 99%。