Google Research 提出睡眠框架，让大语言模型在持续学习中保留知识
Google Research 提出持续学习中的睡眠框架，让大语言模型在活跃交互与离线睡眠之间交替，把脆弱的短期记忆固化为长期参数记忆，同时缓解灾难性遗忘。睡眠阶段包含记忆巩固与做梦两部分，通过解锁 MoE 记忆块、结合 GKD 与强化学习的知识注入，以及随机专家选择和梯度筛选合成样本来实现自我提升。
推荐理由：原文给出睡眠框架在持续翻译、长上下文和数学推理上对比 ICL、SFT 等基线的实验结果，可了解缓解灾难性遗忘的一种新思路。