量化相关 AI 资讯

模型 Agent 与开发者13:35

Run Beam 1.0 501B 本地部署，Atomic Chat 发布 4 档量化版本

Reflection AI 的 501B 模型现在能本地跑了，四档 GGUF 量化从 197GB 压到 134GB，最高那档精度损失不到 6%，有硬件的可以试试。

#Beam 1.0 #Reflection AI #GGUF #量化

@atomic_chat_hq@atomic_chat_hq原文

模型 Agent 与开发者23:02

Atomic Chat 发布 Muse Spark Open 816B 四档本地量化版本

Meta 的 816B 大模型现在有量化版能跑在 256GB 内存的机器上了，224GB 那档保住 89.2% 原始质量，有硬件的可以试试。

#Muse Spark Open #GGUF #量化 #Hugging Face

@atomic_chat_hq@atomic_chat_hq原文

论文 Agent 与开发者11:40

Conditional Program 压缩法：DeepSeek 记忆表存储从 203GB 降到 51GB

arXiv 上的新压缩论文，把 DeepSeek 的 203GB 查找表压到 51GB，做量化或本地部署的可以看看思路。

#DeepSeek #量化 #论文 #n-gram

arXiv: DeepSeek@Donghoon Han 等 5 人原文

技巧 Agent 与开发者多源确认03:28

NVIDIA Nemotron 3.5 Super VL 120B 量化版可跑在 64GB Mac 上

NVIDIA 的 120B 视觉模型被压到 59.3GB，64GB Mac 就能本地跑，量化后还保留近九成性能，附了下载链接。

#Nemotron 3.5 Super VL #NVIDIA #GGUF #量化

事件专题

@atomic_chat_hq@atomic_chat_hq11 个信源在谈原文

模型 Agent 与开发者17:18

MiniCPM-V 4.7 35B-A3B 并行编码测试：16 个 coding agent 同时运行

有人拿 MiniCPM-V 4.7 的 INT4 版本同时跑 16 个 coding agent，还配了 DSpark drafter，结果在这条帖子里能看到。

#MiniCPM-V #coding agent #开源模型 #量化

官方账号面壁智能 ModelBest@ModelBest_AI原文

论文12:54

ProTok 用多码本量化统一蛋白质序列、结构与功能三种模态

一篇蛋白质领域的 tokenizer 论文，三种模态共用一套离散词表，28 个测试切分里 21 个拿第一，还能联合生成骨架和序列，做蛋白质设计的可以看看。

#ProTok #蛋白质设计 #量化 #生成模型

arXiv cs.LG@Romain Hardy 等 3 人原文

论文 Agent 与开发者12:50

MultiAlloc 提出预算感知的 KV Cache 量化精度分配框架

一篇解决 LLM 推理内存痛点的论文：MultiAlloc 在固定显存预算下自动决定 KV Cache 量化精度怎么分，比现有逐层和逐 token 方法都省心。

#KV Cache #量化 #推理优化 #Mistral

arXiv: DeepSeek@Yangchengyu Zhou 等 8 人原文

模型 Agent 与开发者10:44

LFM2.5-24B-A2B 量化版发布，16GB Mac 可本地运行

Liquid AI 那个 24B 模型现在有 11.1GB 的量化版了，16GB 内存的 Mac 就能本地跑，去 Hugging Face 挑一档下载试试。

#LFM2.5-24B-A2B #Liquid AI #GGUF #量化

@atomic_chat_hq@atomic_chat_hq原文

模型 Agent 与开发者13:43

OpenBMB 推出 MiniCPM-V-4.7-35B-A3B 20GB 量化版，保留约 95% 性能

MiniCPM-V-4.7-35B-A3B 出了 20GB 量化版，性能只掉 5% 左右，消费级显卡就能本地跑视觉模型了。

#MiniCPM-V #OpenBMB #量化 #多模态

OpenBMB@OpenBMB原文

产品 Agent 与开发者12:25

微软开源 BitNet 推理框架：让 CPU 跑 1.58-bit 大模型

微软把 1.58-bit 量化模型做到 CPU 能跑，EPYC 16 线程跑到 461 token/s，没显卡也想本地跑模型的话可以看看这套开源框架。

#BitNet #Microsoft #CPU推理 #开源模型

Lxfater@lxfater原文

论文 Agent 与开发者11:12

DualQuant：大模型双尺度无校准量化方法

清华团队推出DualQuant，无需校准数据就能量化大模型，精度媲美SmoothQuant，性能提升超2倍。

#DualQuant #Llama #Qwen #量化

arXiv cs.AI@Mahsa Salmani 等 3 人原文

模型 Agent 与开发者多源确认11:23

Underdog AI 发布 Saluki 27B：基于 Qwen3.8-27B 的 2-bit 量化版本

Underdog AI 把 Qwen3.8-27B 压到 2-bit，只有 7.89GB 还能跑工具调用，日常推理比原版还强，本机部署党可以试试。

#Underdog AI #Saluki 27B #Qwen3.8-27B #量化

事件专题

IT之家3 个信源在谈原文

产品 Agent 与开发者精选01:12

Qwen-Image-2.1-Turbo GGUF 量化版发布，2.6 GB 起可本地运行

用 Qwen-Image-2.1-Turbo 的人可以下载这些 GGUF 量化，4.2 GB 那档比 llama.cpp 的 Q4_K 失真少 21%，小显存也能本地跑。

#Qwen-Image-2.1-Turbo #GGUF #量化 #图像生成

@atomic_chat_hq@atomic_chat_hq原文

论文 Agent 与开发者10:51

AdamW优化器状态量化新方法

OpenAI团队提出新量化方法，让4-bit AdamW优化器性能接近32-bit，大模型训练存储成本大幅降低。

#AdamW #量化 #ZIP-SR #ZE-EDEN

arXiv cs.LG@Hanyang Li 等 10 人原文

模型 Agent 与开发者多源确认11:09

Emad Mostaque：AI 模型能效已接近人脑

Qwen 27B 从 60GB 压到 6GB 还保住 95% 性能，居然能跑在树莓派上，这条视频讲了具体怎么做的。

#Qwen #Prism ML #模型压缩 #量化

事件专题

rohanpaul_ai@rohanpaul_ai3 个信源在谈原文

论文 Agent 与开发者10:11

分层误差归因方法让混合精度量化提速最高2570倍

一篇量化压缩论文：给每层算局部误差打分来分配比特，不用求解器，分配速度最高快2570倍，校准数据脏了也不崩。

#量化 #混合精度 #模型压缩 #扩散模型

arXiv cs.LG@Samy Houache 等 3 人原文

模型 Agent 与开发者精选07:30

Liquid AI 发布 d1 系列 GGUF 量化模型，可本地运行

Liquid AI 把 d1-3B 和 d1-omni-600M 做成了 GGUF 量化包，最小 256 MB，笔记本就能跑，量化版还能保住 97.1% 的精度，本地部署决策模型可以试试。

#Liquid AI #GGUF #d1 #量化

@atomic_chat_hq@atomic_chat_hq原文

产品 Agent 与开发者精选21:21

vLLM v0.31.0 引入进程恢复功能

vLLM 团队发布新功能，用 CRIU 技术实现进程恢复，比传统冷启动快多了。

#vLLM #CRIU #TP1 #量化

官方账号vLLM@vllm_project原文

技巧 Agent 与开发者多源确认精选01:15

本地AI幻灯片开源分享

Merve Noyann分享的本地AI幻灯片，全面覆盖llama.cpp关键技术点，适合开发者学习参考。

#llama.cpp #幻灯片 #量化 #推测解码

事件专题

Merve Noyan@mervenoyann3 个信源在谈原文

行业 Agent 与开发者09:04

MiniMax 工程师解析量化与投机解码对生产推理的影响

MiniMax 的工程师要拆解量化、投机解码这些加速手段在生产里的隐藏代价，做推理部署的可以去听听 10 月 14 日这场。

#MiniMax #量化 #投机解码 #推理优化

AI Engineer@aiDotEngineer原文

技巧 Agent 与开发者精选00:34

Milvus HNSW 索引量化解析：SQ、PQ 与 PRQ 如何压缩向量

Milvus 官方把 HNSW 的三种量化方案讲清楚了：SQ8/SQ6、PQ、PRQ 各自怎么压缩、省内存多少、代价是什么，做向量检索选型前很值得看。

#Milvus #HNSW #向量检索 #量化

Milvus@milvusio原文

产品 Agent 与开发者71°21:32

Strata 让 Qwen3.8-Flash-Next 125B 在消费级显卡上本地运行

一个开源项目把阿里 Qwen 的 125B 模型量化后塞进了 12GB 显存的消费级显卡，每秒还能跑几十个 token，本地部署玩家可以看看它怎么分配显存和内存。

#Qwen #Strata #本地推理 #开源模型

SuperTechFans原文

论文 Agent 与开发者18:24

MRVQ：单一索引同时支持维度与码率弹性向量检索

搞向量检索的可以看这篇：一份 MRVQ 索引同时搞定降维和降码率，内存省到 20 倍，还老实交代了质量上的取舍。

#MRVQ #向量检索 #量化 #RAG

arXiv cs.AI@Sean Culatana 等 3 人原文

论文 Agent 与开发者精选05:01

ERRC：用熵再投资残差校正优化张量并行 LLM 通信

PyTorch 大会在 San Jose 开，这位大使要讲 ERRC，压缩 GPU 间通信、顺便补量化误差，搞多卡推理的可以看看。

#ERRC #PyTorch #张量并行 #LLM推理

官方账号PyTorch@PyTorch原文

论文 Agent 与开发者10:14

低差异抖动优化量化循环状态缓存

论文提出了一种确定性抖动方法，能显著提升量化语言模型在长文本生成中的性能，无需额外计算成本。

#Mamba #量化 #循环状态 #Weyl抖动

arXiv cs.LG@Snigdha Chandan Khilar原文

论文 Agent 与开发者10:50

STEPQuant：Delta规则循环状态量化研究

清华团队提出STEPQuant，根据误差大小和内存寿命分配精度，在Qwen和Kimi模型上显著降低内存使用。

#STEPQuant #Qwen3.8-27B #Kimi-Linear-48B-A3B-Instruct #量化

事件专题

arXiv cs.AI@Bingchen Yao 等 9 人2 个信源在谈原文

论文 Agent 与开发者10:26

WUSH-KV: KV缓存量化新方法

WUSH-KV用数据自适应变换降低KV缓存量化误差，2-bit性能超越OSCAR，适合长上下文推理场景。

#WUSH-KV #KV缓存 #量化 #SGLang

arXiv cs.LG@Jiale Chen 等 5 人原文

模型 Agent 与开发者多源确认精选73°21:10

社区推出 MiniCPM5-2B 的 EXL3 4-bit 量化版，权重仅 1.61 GB

MiniCPM5-2B 出了 4-bit 量化版，权重才 1.61 GB，T4 上能跑 70 tokens/s，想在自己机器上跑小模型可以试试。

#MiniCPM5-2B #OpenBMB #量化 #本地推理

事件专题

OpenBMB@OpenBMB11 个信源在谈原文

技巧 Agent 与开发者17:04

本地部署大模型何时爆发？作者判断在 2029 年前后

作者用 Qwen3.8-27B 的部署成本算了笔账，结论是本地模型风口不在明年，得等硬件降价，讲得挺实在。

#Qwen3 #本地部署 #开源模型 #量化

Lxfater@lxfater原文

论文 Agent 与开发者10:07

研究：小型本地模型做信息抽取的精度与能耗权衡

本地跑小模型抽文档信息？这篇把能耗账算清了：批处理省 38-85% 电，纯文本场景用文本模型比视觉模型又准又省。

#信息抽取 #OCR #小型模型 #量化

arXiv cs.AI@Christoph Walser 等 3 人原文

论文 Agent 与开发者09:09

Softmax 重参数化方法降低输出头量化损失，Phi-4-mini KL 误差降至 0.256

量化小模型的人可以看看：一个一行搜索就能让输出头 W4 量化的 KL 误差降七成的方法，还附 10.8% 延迟实测。

#量化 #GPTQ #Phi-4-mini #推理优化

arXiv cs.LG@Asim Kadav 等 8 人原文

论文 Agent 与开发者73°00:43

Google 论文：Serverless CPU 上量化 LLM 冷启动 55-70% 延迟来自模型加载

Google 这篇论文拆了 serverless CPU 跑量化小模型的延迟构成，55-70% 耗在加载权重，加内存到 8 GB 就能让推理快近一倍，部署前值得看。

#Google #量化 #LLM推理 #serverless

rohanpaul_ai@rohanpaul_ai原文

产品 Agent 与开发者精选23:14

FIT-GGUF 为 MiniCPM5-2B 带来可控体积的混合精度量化

用 FIT-GGUF 给 MiniCPM5-2B 做了 4 个混合精度量化版，1.14 到 1.46 GiB，还能自定目标体积，比固定 Q4/Q5 灵活多了。

#MiniCPM5-2B #FIT-GGUF #GGUF #量化

OpenBMB@OpenBMB原文

论文 Agent 与开发者10:15

OPD 蒸馏方法让低比特量化模型恢复推理能力

量化到 2-bit 后模型做数学题会发疯循环？这篇论文用 on-policy 蒸馏把 MATH-500 保留率从 35% 拉到 70%，做端侧部署的可以看看。

#量化 #蒸馏 #推理模型 #MATH-500

arXiv cs.LG@Yuanteng Chen 等 10 人原文

模型 Agent 与开发者多源确认精选09:20

SpecQuant框架通过多父量化实现LLM自适应高效推理

这个技术很实用，能让你在本地设备上更高效地运行大语言模型，不用复杂配置，还能根据任务自动选择合适的模型精度。

#SpecQuant #Qwen2.5 #推测解码 #量化

事件专题

arXiv cs.LG@Harish KB 等 5 人11 个信源在谈原文

论文 Agent 与开发者精选09:47

量化大模型中的激活转向研究

这篇论文揭示了量化大模型中激活转向技术的真实表现，特别是推理长度任务中的不对称现象值得开发者关注。

#量化 #激活转向 #LLM #INT8

arXiv cs.LG@Saurav Bhandari, Benjamin Wade原文

论文精选73°11:22

Gated DeltaNet在4位量化中保持性能的机制研究

Minima团队把Qwen3.8-27B全量化到4位，性能不变还更小更快，揭秘了混合模型递归部分为什么好量化。

#Gated DeltaNet #Qwen3.8-27B #NVFP4 #量化

事件专题

arXiv cs.AI@Sergii Kozyrev, Davyd Maiboroda2 个信源在谈原文

论文精选73°10:14

大模型量化损伤结构研究

这篇论文揭示了LLM量化损伤的分布规律，证明全局量化比局部修复更有效，对模型部署有实际指导意义。

#LLMs #量化 #Qwen3-8B #模型压缩

arXiv cs.LG@Jundong Hu, Shekar Ramachandran原文

模型中美对照精选73°12:33

腾讯混元 Hy4 preview 轻量版开源

腾讯把 1.5TB 的 Hy4 模型压缩到 214GB，还能在异构设备上联合推理，速度提升 6 倍。

#混元 #Hy4 preview #Sherry #量化

IT之家原文

论文12:12

高效AI评估基准测试研究

Vector Institute研究团队发现高效AI评估可能改变基准结论，不同优化方式对结果影响各异。

#BBQ #BBQ-V #AI评估 #基准测试

arXiv cs.LG@Ahmed El Kady 等 5 人原文