Hugging Face Daily Papers·· 3 天前AI 评分48
字节跳动 Seed 用 Sparse AutoEncoders 揭示 MoE 专家的细粒度人类可解释分工
SAE Interprets MoE: Sparse AutoEncoders Reveal That MoE Experts Exhibit Human-Interpretable Fine-Grained Specialization
AI 导读
字节跳动 Seed 在 Qwen3-30B-A3B 的第 4、30、46 层 MoE 输出上训练 TopK Sparse AutoEncoder（2^20 latents，k=100），基于 1.5B tokens 的分解统计发现每个 expert 驱动的 latent 高度集中，多数 latent 仅有 1-2 个主导专家。
来源：Hugging Face Daily Papers · huggingface.co