斯坦福 2026 秋季新课,讲怎么把语言模型各环节做省算力,前四节讲义已经放出,想学效率优化的直接看。
#效率优化
研究人员发布cua-speedrun基准,解决了CUA评测的可复现性问题,发现了一些反直觉的效率规律。
OpenAI 的 GPT-5.6 Sol 通过自学习优化运行,服务成本降了 20%,生成速度提了 15%,比手动调优更省心省钱。
Google悄悄发了三个新Flash模型,3.6 Flash省了65%的token,但旗舰3.5 Pro还是没影,对手们已经在卷了。
Google 为 Gemini 造专属芯片,效率更高、功耗更低,2027 年落地。
这篇论文解决了AI agent过度读取文件的问题,E3方法能自动判断任务简单就少干活,在MSE-Bench上省了85%成本,效果很实在。
OpenAI取消了5小时限制,还优化了GPT 5.6 Sol,现在用户数600万,效率更高了,用起来更爽。
DeepSeek的DSpark用小型模型提候选token、大模型批量验证,让速度提升85%,还减少了芯片需求,挺实用的。
看这篇论文,阿里云用自然语言写智能体工具,token省了95%,还能揪出拖后腿的环节。
U2 的 25% token 节省直接降低了企业调用大模型的成本,做 AI 应用开发和模型部署的团队值得关注这个效率标杆。
做代码生成或LLM推理优化的开发者,EffiSkel直接解决了生成代码跑得慢的痛点——不用等后优化,训练时就注入效率骨架,值得关注其开源实现。
ThoughtFold解决了LRM过度思考的痛点,做推理模型优化的团队可以直接参考其内省偏好学习方法,能大幅降低计算成本而不牺牲精度。
Step 3.7 Flash 通过原生效率设计解决了 KV-cache 成本痛点,做智能体应用的开发者可以直接用 Fireworks AI 一键部署,值得试试。
遥感图像分割从业者终于有了兼顾精度和效率的轻量方案——LALE用1.6M参数达到接近大模型的效果,做边缘部署或实时处理的团队可以直接参考。
做智能体开发的团队会关注——Step 3.7 Flash 直接解决了效率瓶颈,建议试试看能否优化你的自动化流程。
阶跃星辰把 AI 从「炫技」拉回「干活」——Step 3.7 Flash 在保持智能的同时大幅提升效率,做 AI 应用落地的开发者值得关注,能直接降低推理成本。
Hermes Agent 的 Tool Search 解决了智能体工具冗余加载的痛点,做 Agent 开发的团队可以直接参考实现,提升任务执行效率。
做 LLM 部署优化的团队终于有了量化工具——这篇论文告诉你何时该用检索、何时该用记忆压缩,直接帮你省 token 成本,建议做推理优化的工程师点开看具体方法。
HullFT 解决了测试时微调中检索和微调的双重瓶颈,做 LLM 推理优化的开发者可以直接尝试,能显著提升效率。
如果你正在构建或使用多代理工作流,Omar 的方案直接点出了效率痛点并提供了跨后端的解决思路,做代理编排的开发者值得关注。
做GUI自动化的团队终于有了兼顾效率和智能的方案——AutoRPA把LLM的推理能力压缩成轻量RPA函数,省掉重复调用LLM的高昂成本,做流程自动化的开发者可以直接用起来。
做RAG系统优化的团队终于有了一个不依赖LLM抽取的图构建方案——ContextRAG用30次调用替代了数百万token的索引开销,多跳问答效果还更好,做知识密集型问答的开发者值得一试。
Meta 用实际数据证明了 Muse Spark 的预训练效率比 Llama 4 提升 10 倍以上,做模型训练或资源优化的团队值得关注其缩放定律方法,可以直接借鉴来评估自己的模型效率。
MoBA 解决了长文本大模型计算效率低下的痛点,做 NLP 或大模型应用的开发者可以直接参考其设计思路,提升模型处理超长文本的能力。
这篇论文为LLM推理效率问题提供了理论严谨且可落地的解决方案,做推理优化或模型压缩的研究者可以直接参考其变分蒸馏方法,值得细读。