TypeSafe AI 发布新模型 Jev，推理速度比同类 LLM 快 200 倍
TypeSafe AI 新出的 Jev 模型，推理速度比同类 LLM 快 200 倍，成本也低很多，对做代理循环的应该有用。
#推理模型
共 2001 条 · 7 天 180 条 · 30 天 655 条 · 话题观测 →
9月19日
Bolt 上开源模型首周，开发者选最快 DeepSeek V4.1 Flash
Bolt 上开源模型首周，开发者选最快 DeepSeek V4.1 Flash，该版本在 Bolt Forge 中上线，使用量是 DeepSeek V4 Pro 的 10 倍。
9月18日
谷歌 Deepmind 提出可见思维链是 AI 安全优势，但透明度正在消失
谷歌 Deepmind 发表观点，说 AI 模型显示思考过程（比如 Chain-of-Thought）对安全有好处，但现在很多模型（比如 GPT-4）正在减少这种透明度。
Union Alpha 被识别为 TheUnbiasedCo 的 Pareto 模型
朋友，TheUnbiasedCo 的 Pareto 模型被 OpenRouter 识别出来了，你可以在 openrouter.ai/unbiased/pareto 用用看，它推理能力很强。
OpenAI 研究人员每日花费 7000-8000 美元使用 Codex
朋友，OpenAI 的研究人员每天花 7000-8000 美元用 Codex，一年要花 20 多万，还在指数级增长，说明这个工具太值了。
9月17日
OpenAI GPT-6 Astra 在 18 小时内通关《宝可梦火红》
OpenAI 新发布的 GPT-6 Astra 模型太牛了，在《宝可梦火红》里 18 小时就通关了，比之前快了 78%，还玩过《因斯瑞克》和《辐射3》，但《我的世界》里一次爆炸就种土豆了，很有意思。
智谱 GLM 公开国内大模型首个递归自我改进实践：AI 在十万卡国产集群上自建推理系统
智谱 GLM 做了个很酷的事，让 AI 自己去优化自己的推理系统，在十万张国产卡上把效率提升了三倍，比用普通 GPU 还划算。
AI 推理 MLPerf 6.1 发布：AMD 以 512 个 MI355X 刷新纪录、英伟达 Vera Rubin 首次现身
朋友，AMD 用 512 个 GPU 刷新了 AI 推理纪录，比英伟达的同类配置快，值得关注。
IT之家原文
Infinigence AI 开源 APXInf 模型，边缘端推理延迟降至 26ms
朋友，Infinigence AI 开源了 APXInf 模型，能在 Jetson Thor 上把推理延迟降到 26ms，比原来快很多。
9月16日
现代AI系统并非基于自回归模型，其推理方式存在差异
Yann LeCun（深度学习之父）在讨论AI推理的本质，指出当前主流LLM并非自回归模型，而是通过搜索生成序列，并强调推理应在抽象空间而非语言空间进行，观点很有深度。
Claude 3.5 Sonnet 模型发布，性能超越 GPT-4
Anthropic 推出了 Claude 3.5 Sonnet，这个新模型在多项任务上比 GPT-4 更强，你可以用它来写代码、做推理，甚至处理图片信息。
谷歌发布Gemini 3.8 Live与Extended Thinking，实时语音支持多步骤推理
谷歌新出的Gemini 3.8 Live和Extended Thinking，能一边说话一边思考，比如查资料时能同步汇报进度，比普通语音助手更智能。
JustFit 让 27B 模型在 24GB 笔记本上处理 20万token
朋友，刚看到 JustFit 这个技术，它能让 27B 的 Qwen 模型在 24GB 笔记本上处理 20万token，比之前的方法快很多，对本地开发很有用。