字节跳动 Seed 用 Sparse AutoEncoders 揭示 MoE 专家的细粒度人类可解释分工
字节跳动 Seed 在 Qwen3-30B-A3B 的第 4、30、46 层 MoE 输出上训练 TopK Sparse AutoEncoder（2^20 latents，k=100），基于 1.5B tokens 的分解统计发现每个 expert 驱动的 latent 高度集中，多数 latent 仅有 1-2 个主导专家。
字节跳动 Seed 在 Qwen3-30B-A3B 的第 4、30、46 层 MoE 输出上训练 TopK Sparse AutoEncoder（2^20 latents，k=100），基于 1.5B tokens 的分解统计发现每个 expert 驱动的 latent 高度集中，多数 latent 仅有 1-2 个主导专家。