QSelect 为太空机器人机载语言模型提供低比特压缩方案
arXiv 上这篇论文教你怎么把 7B/8B 模型压到 3-4 比特还给太空机器人用，混搭三种量化器比单用一种效果更好，做端侧部署的可以看看。
#QSelect
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「QSelect」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月22日
arXiv 上这篇论文教你怎么把 7B/8B 模型压到 3-4 比特还给太空机器人用，混搭三种量化器比单用一种效果更好，做端侧部署的可以看看。