Llama-3.1-8B-Instruct 相关 AI 资讯 · AITOP · AI热报

9月1日

10:50

10:50

官方账号arXiv cs.LG@Asa Shepard

该论文研究了Llama-3.1-8B-Instruct模型中预计算内存的保存与修正问题。实验表明，预计算内存由单独准备的部分组装时会降低准确性，重建成本接近完整重新准备的很大比例。研究还发现，预计算内存会忽略基于措辞条件的修正信息。通过训练压缩的键值缓存热重建和特定措辞更新，可以在重建间隔期间保持内存更新。

论文 Llama-3.1-8B-Instruct 预计算内存键值缓存

推荐理由：论文揭示了预计算内存的重建成本和更新策略，对优化大模型上下文处理有实用价值。

6月26日

09:51

09:51

官方账号arXiv cs.AI@Ryan Fetterman

论文研究LLM微调安全分类器时产生的逃避漏洞，发现标准评估无法检测。以Foundation-Sec-8B-Instruct及其基础模型Llama-3.1-8B-Instruct为对象，在PowerShell分类任务上测试。通过因果干预定位分类电路继承自Llama的后期注意力路径，微调浓缩并语义专化此结构，但引入了对PowerShell别名替换（如iwr）、命令重建（Invoke-Expression）、字符串构造、执行间接和大小写变异等转换敏感的漏洞。三种逃避基准显示Foundation-Sec在iwr替换、Invoke-Expression重建和大小写变异的Invoke-Expression/IEX变体上失败，而Llama未受影响。

论文 Foundation-Sec-8B-Instruct Llama-3.1-8B-Instruct AI安全

推荐理由：这篇论文揭示了一个反直觉的发现：给模型做安全微调反而可能暗藏更多绕过后门。它用具体的PowerShell分类实验，告诉你继承的电路在微调后变得脆弱，适合关注AI安全或模型微调的朋友。