DeepSeek 测试让小模型跑在游戏 GPU 上以降低推理成本
精选理由
DeepSeek 在试验把小模型塞进便宜的游戏 GPU 里跑推理，成本思路很野，值得看看他们怎么做的。
据 The Information 报道，DeepSeek 创始人梁文锋向投资者透露，内部测试显示其小模型可以在为游戏设计的显卡上流畅运行。公司正在验证能否通过激进的模型优化，把部分推理负载从数据中心芯片转移到更便宜的游戏 GPU 上。这一方向若跑通，可进一步压低 DeepSeek 小模型的推理成本。
原文 · rohanpaul_ai
DeepSeek is testing whether aggressive model optimization can push some share of inference for its smaller models onto much cheaper gaming GPUs.
- per The Information.
"Liang told investors that DeepSeek’s internal tests show its smaller models can run well on graphics chips designed for gaming"
