从投机解码到 Rand5 模拟 Rand7：跨越十年的拒绝采样直觉

hust.111qqz@gmail.com (111qqz) — Tue, 10 Nov 2026 20:00:00 +0800

上一篇理清了 Prefill 和 Decode 的因果链之后，我开始翻 Decode 阶段的加速方案。结论已经很清楚了：在单请求、小 Batch 的典型场景下，Decode 阶段是 memory-bound 的——每生成一个 token 就要把整个模型权重从显存搬一遍，计算单元大部分时间在等数据（Batch 较大或模型结构不同时，瓶颈也可能转向 compute-bound，但单次请求的延迟优化场景下 memory-bound 是常态）。

Speculative-Decoding on 111qqz的小窝

从投机解码到 Rand5 模拟 Rand7：跨越十年的拒绝采样直觉