Berkeley AI Research 介绍大规模识别 LLM 关键交互的 SPEX 与 ProxySPEX 算法

Berkeley AI Research 介绍 SPEX 与 ProxySPEX 两种算法，通过少量消融实验大规模识别 LLM 的关键交互。该框架利用稀疏性和低阶性将交互发现转化为稀疏恢复问题，可用于特征归因、数据归因与模型组件归因。加入层级假设的 ProxySPEX 以约 10x 更少的消融达到 SPEX 同等性能，SPEX 在上下文扩展到数千特征时仍保持高 faithfulness。