把记忆交给CPU，大模型会变快
朋友，试试这个方法，把大模型里的记忆部分交给CPU处理，能明显让模型变快，尤其对对话类任务效果不错。
研究显示，将大模型中的记忆功能从GPU转移到CPU上，可以显著提升推理速度。在GLUE基准测试中，这种方法使模型速度提升了约15%。这种方法特别适用于需要频繁访问长上下文的对话系统。
把记忆交给CPU，大模型会变快
让GPU去忙生成Token
本条情报归属 AITOP「技巧」核心栏目，重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：大模型、推理模型、提示词工程，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「量子位」（@十三），经 AITOP 多维评分管线结构化提炼。
银河智学的邓澍军博士在演讲里提出了一个和通用大模型不同的思路：教育 AI 要建模学生的学习过程本身。做教育科技产品或者在学校里负责选型的人可以看看，思路和直接套 GPT 的做法差别不小。
这是部委级政策首次给自然资源领域 AI 化定下明确时间表：2028 年前要建成五方向的数据集、大模型和智能体，2030 年集成国土空间治理平台。做 GIS、遥感和行业大模型的团队建议仔细看八大示范场景和中试平台布局，这里面藏着后续几年的项目机会。
腾讯把广告整块折叠、和答案分开显示，还接入了公众号和视频号内容，这在百度主导的中文搜索里是个新选择。做内容分发或投放的从业者可以关注它的商业化尺度。
Lenovo 这次不做硬件卖服务了，做了个调度系统：难活给大模型、简单活给小模型，帮企业省 token 钱。做企业级 AI 应用、想控制推理成本的团队可以看看它和阿里云、火山引擎的差异。
PS5 和 Switch 都被逆向了，AI 几分钟就能摸清闭源系统架构，现在有人用大模型造假系统钓黑客，一聊就是三小时，思路很新。
Next Token 更新了，聊聊海内外大模型近况，还有一堆 Bot 使用的小技巧和吐槽，藏师傅结尾埋了个彩蛋，通勤路上听正好。
