探究自然语言自编码器的稳定性

EleutherAI 探究了自然语言自编码器（NLA）的稳定性：独立训练的 NLA 解释可互相迁移，重构损失增幅小于改写。GCG 优化将 Gemma-3-12B-IT 的 FVE 从 72.1% 提到 81.4%，但解释变得更难读且 passage support 未提升，说明重构不等于忠实。结构化编辑解释可将模型输出导向指定目标答案。