不想云端模型动不动拒答的话,这个用 480KB 控制向量改 Qwen3.8-Flash-Next 的法子挺有意思,12GB 显存就能跑。
全部动态
AI 相关资讯全量信息流 · 783 条
10月5日
Qwen3.8-Flash-Next 加 480KB 控制向量,本地部署减拒答版本
10月4日
开发者自研推理引擎 tqllm,单卡 RTX 3090 跑 Qwen 27B 达每秒 273 token
一张 RTX 3090 把 27B 模型跑到每秒 273 token,作者自己写的引擎,速度直接把普通部署方案甩开了。
Strata:12G显存本地跑Qwen3.8-Flash-Next 125B模型
12G显存的电脑也能跑125B的Qwen3.8-Flash-Next了,Strata把常用专家放显卡、全量放内存,项目已在Github开源。
德国 Aleph Alpha 发布开源小模型 Kolibri:78B 总参数、3.46B 激活
德国人自己从零训了个开源小模型,德语成绩还压过 Qwen3.5 和 GPT-OSS,数学也够硬,编程稍弱。
Microsoft 论文 ScholarEvolve:从已发表研究中自动演化 Agent 框架
Microsoft 这篇 ScholarEvolve 不改模型、只改 harness,就让 Qwen3.5-27B 在 AppWorld 上涨了 14 个点,思路很新颖。
AWS Strands Labs 开源决策模型 Strands Decider 2B,单次推理约 115 毫秒
AWS 开源了个 2B 小模型,专门替智能体做选择,115 毫秒出结果还带置信度,做路由和工具调用判断挺实用。
Build A Reasoning Model 第 6 讲:用纯 PyTorch 从零实现 GRPO 训练推理模型
Raschka 又更新了,这讲直接用 PyTorch 手写 GRPO,把 Qwen3-0.6B 的数学成绩从 15% 拉到 47%,想搞懂推理模型怎么训的别错过。
MacBook Pro 外接 iPhone 17 Pro Max 跑 Qwen3.8-27B,预填充提速 44%
有人把 iPhone 17 Pro Max 插到 MacBook 上当外挂算力,跑 Qwen3.8-27B 预填充快了 44%,软件已开源叫 backburner,动手党可以试试。
开源项目 Strata 让 12GB 显存跑千亿参数 Qwen3.8-Flash-Next
12GB 显存就能跑千亿参数模型,Strata 靠 MoE 冷热分离把专家塞进内存,5070 上实测 94 token/s,家用显卡玩家可以折腾了
Cloudflare 发布 Clef 决策模型,基于 Qwen 打造
Cloudflare 用 Qwen 造了个决策模型,输出只按 schema 来,flash 版每百万 token 才 0.09 美元,比 Jev 便宜不少。
亚马逊推出 Strands Decider 2B 开源决策模型
亚马逊开源了能在本地 CPU/GPU 运行的决策模型 Strands Decider 2B,时延低至 113ms,适合需要快速决策的场景。
10月3日
10月2日
10月1日
9月30日