墨尔本实验室 i14labs 推出 Sugar Glider 架构，实现 O(1) 恒定显存推理
墨尔本的 i14labs 搞了个 Sugar Glider 架构，把开源大模型改成固定显存的 O(1) 推理，号称几小时就能转换，还测过 1 万亿参数的模型。做推理部署的人值得关注，长上下文成本可能被大幅压下来。
#Sugar Glider
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Sugar Glider」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月10日
墨尔本的 i14labs 搞了个 Sugar Glider 架构，把开源大模型改成固定显存的 O(1) 推理，号称几小时就能转换，还测过 1 万亿参数的模型。做推理部署的人值得关注，长上下文成本可能被大幅压下来。
