AMD 发布锐龙 AI Halo 开发者平台,支持 192GB 内存可本地跑超 300B 模型
AMD 这个新开发平台能塞 192GB 内存,300B 参数的模型也能本地跑,搞本地部署的可以看看价格再说。
IT之家原文
AMD 这个新开发平台能塞 192GB 内存,300B 参数的模型也能本地跑,搞本地部署的可以看看价格再说。
想本地跑大模型又嫌显卡贵的话可以看看这台,192GB 内存加 640GB 串联显存,49999 元比堆多张显卡省事。
一台 2L 大小的迷你主机塞进 192GB 内存,能把 160GB 划给显存跑 300B 参数的本地大模型,想在家搭私有 LLM 的可以看看,首发 49998 元。