#Transformer
共 205 条 · 7 天 10 条 · 30 天 36 条 · 话题观测 →
5月13日
KV-Fold：无需训练的长上下文推理协议，单步KV缓存递归
KV-Fold 用简单的左折叠思路解决了长上下文推理的内存和精度痛点，做 LLM 推理优化或长文档处理的团队可以直接在现有模型上尝试，无需额外训练。
产品17:06
亚马逊回应是否推新手机：未必，但AI设备“Transformer”在研亚马逊的AI硬件动向直接关系到Alexa生态的下一步，做智能家居或AI硬件的开发者值得关注——Transformer项目可能定义新的设备形态。
IT之家原文
5月12日
论文19:11
连续潜在上下文让Transformer实现高效在线学习该工作通过理论构造和实验验证，说明了连续潜在上下文可作为Transformer在线学习的通用状态载体，为构建能长期自适应交互的轻量级AI系统提供了新思路。
5月11日
NVIDIA与SakanaAI合作：稀疏Transformer内核提速20%+
该工作展示了硬件厂商与AI研究机构在底层算子优化上的高效协作，直接提升了大模型训练/推理效率，对部署大规模Transformer模型的企业而言有显著成本降低潜力。