Prime Intellect 通过 OpenRouter 一年内月 token 用量从 11B 涨到 1T+
Prime Intellect 把推理流量全接到 OpenRouter 上，一年内月 token 用量从 11B 冲到 1T+，单 token 成本还降了约 60%。做应用的朋友可以看看多模型路由怎么帮你切换供应商、压成本，不用再对接每家 API。
#LLM网关
共 7 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「LLM网关」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月13日
9月22日
LangSmith Gateway 上线开源决策模型 SemIf，限免一周
LangSmith Gateway 免费开放决策模型 SemIf 一周，改个字符串就能接入。
8月25日
8月8日
LangSmith 平台新增网关护栏追踪，支出与敏感数据控制一目了然
LangChain 把网关护栏和 trace 打通了，触发后直接看记录改配置，不用再翻日志。用 LangSmith 的可以试试。
8月7日
LangSmith LLM Gateway 接入 Kimi K3
LangSmith 网关现在直接支持 Kimi 3 了，拿你现有的 API key 就能跑，不用另外搞权限，Fireworks 提供算力。
7月31日
LangSmith Gateway 公开测试版发布，集成编程代理与成本控制
LangChain 发了新网关，能控制花销和速率，还能自动给数据脱敏，跟编程代理直接连，甚至支持 kimi-k3，干活更方便了。
7月1日
Amazon Bedrock与LLM网关的五个弹性模式
AWS手把手教你用Bedrock和LLM网关应对流量激增、跨区域高可用和租户隔离，五个模式都是实战干货。