#本地部署
华硕时隔多年又做 Intel 独显了，这张 32GB ECC 显存的卡跑本地大模型很实用，还能 4 卡堆到 128GB 显存。
Actual Computer 发了个案例，教你把 NVIDIA DGX Station 当部门级 AI 工厂用，想搭本地算力的可以看看。
Atomic Chat 适配了 NVIDIA RTX Spark，开源模型本地跑文本图像视频生成，还带 API 服务器给智能体用，不用依赖云端。
Ant 旗下 Ling 3.1 Flash 放出开源权重了，本地跑就能用，同一提示词下生成效果赢过 GPT-6 Luna，还便宜 2.8 倍，想省钱本地部署的可以试试。
Fahd Mirza 用视频实测了 1B 的小模型 MiniCPM-V 4.7，带你用 Ollama 和 llama.cpp 在自己电脑上跑起来，踩坑点也讲了。
Crazy Egg 的 CEO 在家堆了 14 台 Mac Mini 自己跑 AI，比租云服务器更有掌控力，代价是屋子热到要装空调。
AMD 这个新开发平台能塞 192GB 内存，300B 参数的模型也能本地跑，搞本地部署的可以看看价格再说。
想本地跑大模型又嫌显卡贵的话可以看看这台，192GB 内存加 640GB 串联显存，49999 元比堆多张显卡省事。
Google 出了个 Mac 笔记应用，高级功能全免费，数据不出本机，靠 Embedding Gemma 2 跑，不用订阅。
magpie 这个新功能会拿你自己的真实调用在本地跑回放，按 agent 和模型算出最省 Token 的那组配置，不用再瞎猜压缩阈值该调多少。
MSI 给 DGX Spark 平台加了 64 GB 内存版 EdgeXpert，1.2 kg 就能本地跑千亿参数模型，企业私有化部署可以看看。
284B 的 DeepSeek V4 Flash 量化到 1.6 bit 只要 60GB，配 128GB 内存的 Surface Laptop Ultra 就能本地跑，视频都放出来了。
有 Intel Arc Pro B70 的朋友可以试试这个开源工具，现在能直接用 vLLM 跑本地模型了，不用折腾命令行。
12GB 显卡也能跑 125B 的 Qwen3.8-Flash-Next 了，Strata 开源，RTX 5070 上 94 词元/秒，配置门槛和 GitHub 链接都在文里。
Atomic Chat 把 NVIDIA TensorRT 接进自家引擎，RTX 5090 上跑 Qwen 系列模型比 llama.cpp 快一倍多，本地部署党可以看看实测数据。
有人在 DGX Spark 上重跑了 GPT-4o 的文字加法实验，Qwen3.8 27B 开推理后 169 次只错 2 次，还能看到逐位进位的思考过程。
不想云端模型动不动拒答的话，这个用 480KB 控制向量改 Qwen3.8-Flash-Next 的法子挺有意思，12GB 显存就能跑。
12G显存的电脑也能跑125B的Qwen3.8-Flash-Next了，Strata把常用专家放显卡、全量放内存，项目已在Github开源。
有人把 iPhone 17 Pro Max 插到 MacBook 上当外挂算力，跑 Qwen3.8-27B 预填充快了 44%，软件已开源叫 backburner，动手党可以试试。
12GB 显存就能跑千亿参数模型，Strata 靠 MoE 冷热分离把专家塞进内存，5070 上实测 94 token/s，家用显卡玩家可以折腾了