像物理学家一样剪枝大语言模型：将块删除建模为伊辛优化问题

新研究将大语言模型的 Transformer 块剪枝建模为约束二进制优化与伊辛玻璃问题，通过最小化能量确定最优删除组合。该方法利用 Hessian 矩阵捕捉层间耦合相互作用，无需逐一运行基准测试即可低成本评估海量配置。在 Llama-3.3-70B-Instruct 的 50% 压缩测试中，其 MMLU 得分比现有最佳块删除方法高出近 23 个百分点。