Llama-3.2-3B 相关 AI 资讯 · AITOP · AI热报

8月5日

09:43

09:43

官方账号arXiv cs.LG@Xiang Li, Pengcheng Wang, Huazheng Wang, Saurabh Bagchi

SALT 提出三阶段分层微调框架：先在域内公共数据上联合训练高容量质心，再用 r≤2 的残差适配器在私有数据上微调，推理时固定质心、按需交换残差。相比 SOTA 压缩基线，该方法在多种 LLM 上取得最高 18.5% 的绝对准确率提升。每适配器显存占用降低至多 16 倍。集成进 vLLM 后，Llama-3.2-3B 的服务器吞吐在 PCIe 带宽压力下提升 51%，在 GPU 显存约束下提升 28%。

论文 SALT LoRA vLLM

推荐理由：LoRA 服务老被显存和 PCIe 卡脖子？SALT 用 r≤2 的残差加固定质心，精度追上高秩，vLLM 吞吐最高多 51%。

7月29日

11:38

11:38

官方账号arXiv cs.LG@Deepanshu Mody, Samarth Agarwal, Utkarsh Mittal, Dipesh Mahato

该研究采用Fluent Dreaming/EPO方法（结合GCG token优化和自交叉熵流畅性正则化）在Llama-3.2-3B和Llama-3.1-8B上抑制评估感知潜变量，实现了z≈-7的抑制幅度。发现基于CAA方向的抑制效果与随机方向无异，且在真实评估上下文中抑制该方向无法降低模型的行为评估判断。单个MLP神经元与评估相关但不具因果性。扫描真实Pile数据得到的自然文本基线可与优化器竞争。阳性控制验证了擦除检测器的有效性，解决了此前擦除与旋转的遗留问题。

论文 Llama-3.2-3B Llama-3.1-8B CAA

推荐理由：这篇论文用实验告诉你：看似能隐藏模型“知道自己在被测试”的输入优化，可能是假象——抑制CAA方向跟抑制随机方向没什么两样。

7月8日

12:12

12:12

官方账号arXiv cs.AI@Kai Ruan, Zihe Huang, Ziqi Zhou, Qianshan Wei, Xuan Wang, Hao Sun

该论文利用LLM Agent每轮隐藏状态的探针（probe），在任务早期预测最终失败。在TextCraft基准上，Recall-Controlled Probe Cascade以90%召回率目标为Qwen-2.5-7B节省47.1%推理计算，为Llama-3.2-3B节省37.2%。相比仅基于行为的方法，节省量高出1.6-1.7倍。论文还推导了保证高召回率所需的样本复杂度。

论文 LLM Agent Qwen-2.5-7B Llama-3.2-3B

推荐理由：这篇论文告诉你如何从模型内部状态提前看出agent会失败，比看外部行为省算力多了，实测省三到四成。

6月17日

11:38

11:38

官方账号arXiv cs.LG@Abir Ashab Niloy, Ahmed Ryan, Imamul Hossain Rafi, Md Erfan, Md Rayhanur Rahman

研究者构建了一个包含870个会话（70个攻击，800个正常）和约230万事件的多源日志数据集，覆盖系统、网络和浏览器日志。攻击事件用ATT&CK技术ID标注，涉及12种战术和53种技术。使用LoRA微调Qwen2.5-1.5B、Llama-3.2-3B、Phi-4-Mini三个小型语言模型，在分块分类任务上准确率从约8%提升至90%-97%。技术识别任务最佳精确匹配准确率为42%，但部分匹配得分较高，表明模型掌握了大部分推理逻辑。

论文 Qwen2.5-1.5B Llama-3.2-3B Phi-4-Mini

推荐理由：这个新数据集把系统、网络和浏览器日志合在一起，还按ATT&CK标准标了攻击手法。拿三个小模型试了一下，分块分类准确率从8%升到90%以上，挺实用的。

6月4日

11:29

11:29

官方账号arXiv cs.LG@Yaseen M. Osman, Geoff V. Merrett, Stuart E. Middleton

精选

该论文系统检验了基于MLP激活值的深度主动学习方法在LLM上下文学习（ICL）样本选择中的有效性。研究者使用Llama-3.2-3B和Qwen2.5-3B模型，在分类和生成任务上测试了多种注意力掩码策略，发现MLP输出的激活值（包括大规模激活和前四阶矩）与样本质量或任务性能的Spearman相关系数最高仅0.33，表明该方法不可靠。论文推测失败原因可能是“叠加”现象（模型表示的特征数超过维度数），并指出稀疏自编码器（SAE）可能是未来方向。这是目前最全面的MLP激活值主动学习在ICL中的分析，但结论为负。

论文上下文学习主动学习 MLP激活值

推荐理由：如果你在做ICL样本选择或主动学习，这篇论文用实验告诉你MLP激活值这条路走不通，省下试错时间。做LLM推理效率或特征分析的开发者，看完会理解为什么SAE可能是更好的方向。