Google Research 提出 Retrieve-for-Train:用离线 RL 编译扩散检索器绕过推理瓶颈
Google Research 提出 Retrieve-for-Train 框架,通过离线强化学习发现符合奖励的 fan-out 查询并编译为监督信号,再蒸馏进一个 53.9M 参数的扩散检索器,在推理时以单次非自回归前向直接生成完整结果集,无需 CoT 推理 token。
Google Research 提出 Retrieve-for-Train 框架,通过离线强化学习发现符合奖励的 fan-out 查询并编译为监督信号,再蒸馏进一个 53.9M 参数的扩散检索器,在推理时以单次非自回归前向直接生成完整结果集,无需 CoT 推理 token。
Google 与康奈尔大学测试了 GPT-4o、Claude 3.5、Gemini Advanced Pro 1.5 和 NotebookLM 等 6 款大语言模型解答高温超导前沿问题的表现。