产品18:13
雷神发布AI工作站M7000：Max+ 395，128GB内存，19999元起雷神把本地大模型推理的门槛打下来了——M7000用SSD扩展显存跑120B模型，做AI开发或本地部署的团队可以直接考虑，性价比比传统工作站高出一截。
IT之家原文
#本地推理
共 51 条 · 7 天 6 条 · 30 天 14 条
5月28日
5月25日
5月22日
产品17:13
ACEMAGIC 推出迷你 AI 工作站 G3A，支持半高双槽显卡迷你主机终于能塞进桌面级显卡和处理器了，做本地 AI 推理或轻量渲染的开发者可以直接考虑，3.46L 体积放桌面不占地方。
IT之家原文
5月21日
AMD 确认三季度推出锐龙 AI Max PRO 400 升级版 AI Halo，支持 300B 参数模型
本地跑 300B 参数模型不再是梦，做 AI 推理和开发的团队可以直接关注这款 x86 平台，比依赖云端更灵活。
IT之家原文
5月20日
产品22:02
AMD 锐龙 AI Halo 定价 3999 美元，6 月接受预订AMD 用 3999 美元硬件替代每月 750 美元云租金的算盘很实在，做本地 AI 推理或模型微调的开发者值得算一笔账——6 个月回本，之后就是纯赚。
IT之家原文
Hugging Face 发布开源 DNA 模型 Carbon，可在笔记本本地运行
Hugging Face 把 DNA 分析从黑盒 API 拉到了本地，做生物信息学或个性化健康研究的开发者可以直接在笔记本上跑基因组模型，值得试试。
摩尔线程发布AICUBE：统一家庭AI中心
摩尔线程从GPU设计跨入家庭AI终端，做智能家居或本地AI应用的开发者值得关注——AICUBE可能成为国产替代的算力入口，2026年上市前建议提前了解生态兼容性。
5月18日
本周热门仓库：DeepSeek 4 Flash 本地推理引擎等
做本地推理或模型优化的开发者可以看看 DeepSeek 4 Flash 和稀疏 Transformer 项目，前者直接提升 Metal/CUDA 部署效率，后者可能改变模型架构设计思路。法律从业者或对行业 AI 应用感兴趣的人，Claude 插件套件提供了现成的 workflow 参考。
5月14日
Qwen3.6 MTP GGUF 发布：27B 模型单 GPU 达 140 tokens/s
本地大模型性能天花板被再次抬高，玩 llama.cpp、跑本地 Agent 或日常 coding 的开发者可以直接用上，体验 30B+ 模型在消费级显卡上的流畅速度。
5月13日
产品18:18
oMLX 0.3.9.dev2 更新：苹果端侧 AI 速度集成度再升级oMLX 这次更新把 Gemma 4 的视觉路径和 DFlash 引擎塞进 Apple Silicon，图文解码速度明显提升，做本地 AI 开发的 Mac 用户可以直接体验，看看端侧能否替代云端。
5月11日