11:00elvis@omarsar0精选Google、哈佛、UC Berkeley联合发布JAXBench,包含50个JAX工作负载,基于Llama-3.1、DeepSeek-V3、Mixtral、Mamba-2、AlphaFold2等真实架构。通过Gemini 3 Flash结合TPU文档优化,正确率从5.8%提升到37.3%,解决48个基准,速度提升1.28倍。束搜索进一步提速至1.36倍。研究表明正确率是文档问题,速度是搜索问题。论文JAXBenchGemini 3 FlashTPU推荐理由:Google的新研究发现,给模型喂对TPU文档,比堆参数管用。JAXBench测50个真实负载,结果很实在。原文稍后读已读值得跟进有用关注 JAXBench
10:17官方一手arXiv: DeepSeek@Jushi Kai, Zhuiri Xiao, Alexandra Birch, Zhouhan Lin论文提出InfoKV,一种熵感知的KV缓存压缩框架,通过结合token级预测不确定性与层表示演化来估计重要性。在Llama-3.1、Llama-3.2和DeepSeek-R1上的长上下文推理基准实验中,InfoKV在预填充和解码阶段持续优于现有基于注意力的压缩方法。该方法引入Forward Influence度量,发现高不确定性token对远距离上下文影响更大。论文InfoKVKV缓存压缩长推理推荐理由:这篇论文提出了InfoKV,用信息熵改进KV缓存压缩,在Llama-3.1和DeepSeek-R1上比传统注意力方法效果更好,适合关注长推理效率的人。原文稍后读已读值得跟进有用关注 InfoKV