h2o-maxxing：与 Zach Mueller 聊 H2O 技术实战
精选理由
Zach Mueller 亲自讲 H2O 怎么省显存，做长上下文推理的可以看看他实际怎么操作。
mervenoyann 在 X 上分享了在 BFL AI 与 Zach Mueller 探讨 H2O（Heavy-Hitter Oracle）方法的视频。H2O 是一种减少大模型推理时 KV 缓存占用的技术，可降低长上下文推理的显存成本。视频由 Zach Mueller 讲解具体使用方式。
原文 · Merve Noyan
h2o-maxxing at @bfl_ai with @TheZachMueller https://t.co/HAZEbMDG1S
