#本地部署
DGX Spark用户别错过,一条命令跑284B的DeepSeek V4 Flash,prefill有1000 tok/s,多智能体也有59 tok/s。
哥们 Andrew Chen 晒了 DeepSeek V4 Flash 0731 跑在双 DGX Spark 上,想围观新版本性能的可以关注他。
有人把 Claude Fable 5 的思维链塞进了 MiniCPM5-1B,搞出个 657MB 的本地推理模型,128K 上下文还能看它怎么想的,部署门槛极低。
Unsloth把GLM-5.2压到1-bit,Mac Studio上跑21 tok/s,创意性居然不输Claude Opus,本地部署党有福了。
LM Studio 用四台 Mac Studio 跑起万亿参数的 Kimi K2.6,还能用 iPhone 远程调用,给消费级本地部署开了个好头。
Unsloth把1万亿参数的Kimi K2.7 Code压到325GB本地能跑,速度40+ tok/s,长程推理和agent工作流全闭环,开源社区终于能自己跑了。
MiniMax Hub 把 AI Agent 从编码转向创意生产,做内容创作、视频制作、多模态项目的团队可以直接用上全流程自动化,省去手动切换工具的麻烦,值得一试。
AI 工作站装机党终于有了紧凑型机箱选择——36L 体积塞进多张 4 槽显卡和 6 颗大风扇,散热和扩展性兼顾,做本地大模型部署的团队可以关注。
做 MCP 工具或本地 AI 工作流的开发者,这个项目能帮你省掉手动搜索和整理网页的麻烦,直接丢问题就能拿到结构化 prompt,值得抽时间试试。
设计师和前端开发者终于可以在本地用 AI 重建 Figma 设计系统了,效果媲美在线版,而且操作简单——把 .fig 文件路径丢给 skill 就行,值得一试。
本地 LLM 用户终于等来速度突破——DiffusionGemma 的并行生成机制让推理快 4 倍,做本地部署或边缘计算的开发者可以直接在 18GB 显存下体验,值得一试。
Kimi Work 把 AI 代理从云端拉回本地,300 个代理并行干活还带记忆,做金融分析或数据整理的团队可以直接上手,省去配置和等待的麻烦。
多模态模型本地运行门槛进一步降低,做 AI 应用或本地部署的开发者可以关注 Gemma 4 与 Qwen 的对比,评估是否值得迁移或尝试。
Ollama 让 Gemma 4-12B 的本地部署门槛降到最低,做模型实验或本地 Agent 开发的团队可以直接跑起来,省去繁琐配置。
多模态模型终于能跑在普通笔记本上了,做本地 AI 应用或边缘计算的开发者可以直接下载试用,16GB 内存就能跑视觉+音频推理,开源许可也友好。