#LLM管道
共 3 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「LLM管道」标签的资讯、产品与论文,按刊登时间排,新的在上。
7月8日
6月3日
Entropy Gate:面向LLM管道的近无损令牌压缩框架
LLM 开发者常被冗长上下文和重复输出浪费大量令牌预算——Entropy Gate 用热力学思路解决了这个痛点,做长上下文推理或代理应用的团队可以直接集成,省令牌就是省成本。
6月1日
增量BPE分词算法:速度提升3倍,支持流式处理
BPE分词是LLM推理的常见瓶颈,这个增量算法让流式场景提速3倍,做模型部署或实时推理的团队可以直接替换现有方案,值得一试。