Book Library

LLM 为什么缓存 K 和 V，却通常不缓存 Q？

你把一份很长的项目文档交给 AI，让它帮你总结。 回答开始出现，一个 token 接着一个 token 生成。生成下一段内容时，模型仍然需要利用前面的文档和已经生成的回答。 难道每多写一个 token，都要把越来越长的全文从头再算一遍？ KV cache 让模型保留了一部分已经完成的计算。 但它为什么保留 K 和 V？同样参与 attention 的 Q，为什么通常可以用完就放下？ 这篇就来讨论这个问题，理解 KV cache。