Hugging Face 把 Transformers 模型直接跑进 vLLM,性能不输手写,以后搞推理不用重复造轮子了。
HuggingFace与vLLM:AI推理原生时代
2026年7月14日,AI推理效率迎来原生加速里程碑:Hugging Face Transformers模型可直接在vLLM中运行,覆盖4B-235B参数,部署门槛骤降。同时Milvus 2.6新增原生MinHash LSH索引,处理100亿文档吞吐量翻倍、成本降3-5倍。智能体方向,斯坦福TRACE将失败轨迹转化为合成RL环境,SWE-bench达73.2% Pass@1;OpenAI发布提示词四要素框架。大模型再添新星——腾讯混元Hy3(295B MoE)登顶OpenRouter前8,德国Soofi S 30B开源领先,Google SensorFM基于1万亿分钟穿戴数据训练,34/35任务超越基线。AI正向原生智能加速演进。
模型发布/更新
5 篇产品发布/更新
5 篇Peter 用 GPT-5.6 Sol 整了个逆天项目:用 SQLite 跑游戏引擎,所有像素都是 SQL 算出来的。你可以在终端玩,还能在 Datasette 里围观实时地图。
Milvus 2.6 加了一个原生MinHash LSH索引,专门用来做大文本集合的近似去重,比MapReduce方案快3-5倍,适合搞LLM训练数据清洗的团队。
Prime Intellect 出了 Verifiers v1,把RL训练环境拆成任务集、框架和运行时三块,能自由组合,还自带拦截服务器收集数据,做智能体RL的可以试试。
行业动态
5 篇想搞懂为什么长上下文和RAG不够用?EngramLab创始人亲自讲他们怎么用知识墨盒和连续学习让AI真正记住你,比传统路子更接近个人智能体。
DecagonAI联合创始人在NYT说,把任务从闭源模型换到Together AI上的开源模型,成本只要原来的五分之一到七分之一,省太多了。
纳德拉公开怼OpenAI和Anthropic,说他们一边拿公开数据训练,一边不让别人蒸馏自己的模型,挺双标。微软还顺便推销自家产品。
论文研究
5 篇技巧与观点
5 篇AWS官方教你用Bedrock AgentCore Gateway和Okta实现OBO token交换,解决多租户跨身份认证的痛点,有代码有示例。
Viking 分享了怎么用 GPT5.6 规划、Kimi 和 DeepSeek 执行、再交回贵模型审查,省 token 又高效,适合做大项目时试试。