#tqllm

共 1 条 · 7 天 1 条 · 30 天 1 条

Qwen 1 RTX 3090 1 推理引擎 1 量化模型 1

信息流里打上「tqllm」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月4日

产品 Agent 与开发者19:44

开发者自研推理引擎 tqllm，单卡 RTX 3090 跑 Qwen 27B 达每秒 273 token

一张 RTX 3090 把 27B 模型跑到每秒 273 token，作者自己写的引擎，速度直接把普通部署方案甩开了。

#tqllm #Qwen #RTX 3090 #推理引擎

Lxfater@lxfater原文