大规模识别大语言模型中的特征交互

为解决大语言模型解释性分析中的组合爆炸难题，研究团队提出 SPEX 与 ProxySPEX 算法，实现大规模关键特征交互的高效识别。SPEX 借助信号处理与编码理论将搜索转化为稀疏恢复问题，在上下文扩展至数千特征时仍保持高忠实度。ProxySPEX 进一步利用交互的层级特性，以少约 10 倍的消融成本达到了与 SPEX 相同的性能。