# Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning（arXiv:2609.03430）
## 一、文章主要内容总结
### 研究背景
大模型在长链式推理任务中性能优异，但思维链会生成巨量token，**KV缓存会成为严重的内存瓶颈**。现有的KV缓存驱逐（eviction）压缩方案范式高度统一：对每个缓存token计算重要性分数，保留分数最高的一部分token，丢弃其余部分，大家的研究重心都在设计更优的打分函数。

### 核心发现
本文挑战了“打分选择信号对缓存压缩至关重要”这一固有前提：**token重要性打分信号几乎不会带来性能增益**。作者提出**Random Attention（随机注意力）**，该方案完全不计算token重要性分数：强制完整保留Prompt，在每个注意力头内部对模型生成的推理轨迹token做均匀随机驱逐。

在4个大模型（Qwen3‑4B/14B/32B、Phi‑4‑reasoning）、6类推理任务（数学、科学、代码）上，Random Attention可以媲美当前最优基线的任务精度；部署在vLLM上时，相比最优基线，**吞吐提升32‑43%**。

作者通过对照实验解释现象背后的两点核心原因：
1. **Prompt是缓存中最脆弱的部分**：现有各个缓存驱逐方法之间的性能差距，大多来源于该算法是否恰好保住了Prompt。只要统一强制保护Prompt，不同打分算法之间的性能差距会大幅缩小。
2. **推理轨迹自带双重冗余，可以抵御随机驱逐**：
- 文本层面：模型在推理过程中会反复复述需要用到的中间信息；
- 注意力头层面：每个注意力头独立保存一份tok