一个玩家用单张消费卡跑出比多数 API 还快的推理速度,靠的是 Qwen Flash 的模型设计和 Strata 流水线架构,文章讲清了原理,本地部署党别错过。
#本地部署
Unsloth 把 Laya 决策模型做到了 4GB 内存就能本地跑,还能无缝替换 Jev API。做分类决策类应用的朋友可以看看,文章里 confidence 和 probabilities 的坑讲得很实用。
ACEMAGIC 的 F9A 用锐龙 AI Max+ 495 塞进 1.4kg 机身,192GB 内存能分 160GB 给显存,本地跑大模型不用租云 GPU,6499 美元。
极摩客出了台 192GB 内存的迷你工作站,搭载 AMD 锐龙 AI Max+ PRO 495,号称能本地跑 320B 的模型,早鸟 6599 美元,想在家玩大模型可以看看。
铭凡这台迷你工作站把 192GB 内存塞进小机身,能分 160GB 当显存跑大模型,多机还能组机架,51999 元。
有人在GitHub开源了个叫Colibrì的玩法,不用GPU,把SSD当显存就能在笔记本上跑GLM的7000亿参数模型,感兴趣的可以照着README敲6行命令试试。
Liquid AI 出了个 DSpark 加速器,16GB 的 Mac 就能跑 LFM2.5-VL-3B,M5 芯片上解码快最多 3.13 倍,输出还不变。
一个才 9.7 MB 的小适配器,挂在 Bonsai 2 27B 上就能去掉拒绝回答,MMLU 几乎不掉分,16 GB 的 MacBook 也能跑。
雷神的 2L 迷你工作站,锐龙 AI Max+ 395 加 128GB 大内存,25499 元到手,想本地跑大模型可以看看。
有人用 24G 内存的 MacBook Pro 本地跑 Qwen-Image-2.1,一张图要等 5-6 分钟,没显卡想本地跑生图的先看这个再决定。
朋友分享了自己用Qwen 3.8 27B和Deepseek v4搭建的本地AI实验环境,适合想快速测试不同大模型性能的用户参考。
Apodex团队开源的Apodex 1.1 mini模型和Agent Harness框架,支持本地部署,功能强大,适合科研和任务执行。与同类产品相比,Apodex在内容准确性和交付质量上表现更优。
Ollama官方说deepseek v4 flash跑得最好,本地想试的话有qwen3.8优化版,但注意qwen慢30倍贵4.5倍,小样本测试。
阿里官方转发,Atomic Chat把Qwen3.8-27B量化到1位,8.5GB就能跑,16GB MacBook Air上还能保持92.4%的一致性。
Ollama 现在能直接跑 DeepSeek Harness 了,全本地运行,还能看后台轨迹,所有组件都能当插件换,挺好玩,值得试试。
Qwen3.8-27B 现在靠 Unsloth 动态量化,17GB 内存就能跑,还有 NVFP4 量化版,适合本地尝鲜。
DeepLearning.AI和JetBrains出了门短课,教你写代码时把任务拆给子代理,便宜模型干杂活,最后还能完全在本地跑模型。
Andrew Chen 说这套是目前最强家用本地 AI 配置:双 DGX Spark 跑 Deepseek v4 flash 0731 约 50 tok/s。
蚂蚁百灵开源了个轻量推理模型,7.9B 参数但每 Token 只激活 1.3B,Mac mini 上跑得飞快,适合本地部署。
有人晒了 DeepSeek V4 Flash 在 DGX Station 上的实测数据,单机每秒能跑 1875 个 token,128k 上下文首字只要 5 秒,你可以拿这个数去衡量本地部署值不值。
Unsloth搞了个DSpark,能让DeepSeek-V4-Flash在本地跑快一两倍,每秒120 tokens,精度不变,自己部署更爽了。
雷神把水冷塞进6.5kg小机箱,锐龙AI Max+ 395加128GB统一内存,本地跑大模型不用上传数据,适合注重隐私和稳定性的职场用户。