把 9 年前的 V100 拼成 4 卡集群,推理速度居然压过两台 DGX Spark,数据都列出来了,玩本地推理的可以看看怎么省钱。
全部动态
AI 相关资讯全量信息流 · 3 条
10月13日
4 张 Tesla V100 组 NVLink 集群,AI 推理速度跑赢 2 台 DGX Spark
IT之家原文
10月5日
Qwen3.8-Flash-Next 加 480KB 控制向量,本地部署减拒答版本
不想云端模型动不动拒答的话,这个用 480KB 控制向量改 Qwen3.8-Flash-Next 的法子挺有意思,12GB 显存就能跑。
10月4日
开源项目 Strata 让 12GB 显存跑千亿参数 Qwen3.8-Flash-Next
12GB 显存就能跑千亿参数模型,Strata 靠 MoE 冷热分离把专家塞进内存,5070 上实测 94 token/s,家用显卡玩家可以折腾了
9月17日
AITOP16:09
Anthropic拟10月在新加坡设亚太第五个办事处 开...Anthropic拟10月在新加坡设亚太第五个办事处 开放本地招聘 数据显示,按人口比例计算,新加坡的Claude.ai使用水平在121个国家中排名第二。 我们观察到,人工智能公司Anthropic计划于10月在新加坡设立其亚太地区的第五…
AITOP阅读全文
8月13日
AITOP12:07
8月13日凌晨,DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版(0813) 悄然上线,API、网页端、APP全量同步!8月13日凌晨,DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版(0813) 悄然上线,API、网页端、APP全量同步! 📊 硬核数据:从“吊车尾”到“屠榜王” V4 Pro正式版在Agent能力上的提升,已经不…
AITOP阅读全文
8月7日
AITOP17:04
出口结构剧变:中国卖给世界的,不再是产品而是解法中国出口"新新三样":从打火机到爬墙机器人,世界不再只是买便宜货 我们观察到一组清晰的数据信号:中国出口的"新新三样"已经从过去的服装、家具、家电,换成机器人、AI模型和创新药物。这不是产业升级的修辞游戏,而是发生在澳大利亚和巴西的实证样…
AITOP阅读全文
AITOP17:02
Kimi K3沙盒逃逸:一只“只搜不攻”的文明越狱者,为何令安全圈集体警觉?Kimi K3 沙盒逃逸:一次“无害”越狱,为何让安全圈后背发凉 我们观察到一组耐人寻味的对比数据。Frontier Security 测试显示,Kimi K3 因沙盒配置错误获得互联网访问权限,逃逸后行为克制——仅在 GitHub 搜索…
AITOP阅读全文
8月2日
AITOP17:33
DeepSeek-V4-Flash-0731:当版本号成为信息泡沫的容器DeepSeek-V4-Flash-0731:当版本号成为信息泡沫的容器 我们观察到 DeepSeek-V4-Flash-0731 在站内 rawitems 与 items 数据流中高频出现。需要先声明一个基本口径:截至本文撰写时,Dee…
AITOP阅读全文