Google AI · DEV 作者专属· Fathom News·· 8 小时前AI 评分41
Amazon 称新记忆方法有望降低聊天机器人成本
Amazon Says New Memory Trick Could Cut Chatbot Costs
AI 导读
Amazon 研究员 Omar Sanseviero 在 X 发布研究称,将用户稳定事实内化进模型参数的“权重记忆”可减少每次查询读取的 token,效果匹敌或超越文本检索。最佳结果来自 verify-then-regenerate 路由器,在权重记忆与检索文本之间切换。该方案中文本检索在模型外存储原始笔记,学生模型内化稳定事实。
来源:Google AI · DEV 作者专属 · dev.to