TurboQuant:通过极致压缩重新定义 AI 效率
Google Research 推出向量压缩算法 TurboQuant,结合 PolarQuant 极坐标量化与 1-bit QJL 残差纠错技术,在零精度损失的前提下大幅降低 KV cache 内存开销。该算法在 Gemma 和 Mistral 等开源大语言模型上通过了 LongBench、RULER 等长上下文基准评测,在显著压缩 KV 内存占用的同时优化了向量检索效率。
Google Research 推出向量压缩算法 TurboQuant,结合 PolarQuant 极坐标量化与 1-bit QJL 残差纠错技术,在零精度损失的前提下大幅降低 KV cache 内存开销。该算法在 Gemma 和 Mistral 等开源大语言模型上通过了 LongBench、RULER 等长上下文基准评测,在显著压缩 KV 内存占用的同时优化了向量检索效率。