开源项目 Heretic 拿到 4.2 万 Star,不改训练直接修改模型行为
本地跑 Qwen、Gemma 的朋友可以试试这个 Heretic,不用微调直接改权重,Gemma 3 12B 拒答率能从 97% 降到 3%,RTX 3090 上半小时就能跑完一个 4B 模型。想改模型脾气、去 AI 味的开发者会很感兴趣。
GitHub 开源项目 Heretic 已获得 4.2 万 Star,可在不微调、不重新训练的情况下直接修改本地模型的行为,用于去除 AI 味、谄媚倾向和拒答行为。项目采用 Abliteration 权重消融技术,通过识别与拒答相关的激活方向修改权重;2.0 版本默认使用更灵活的 ARA 方法,不再依赖单一拒答方向的假设。实际效果上,一个 4B 的 Qwen 在 RTX 3090 上约 30–40 分钟即可处理完,Gemma 3 12B 的拒答率从 97% 降到 3%。
工具链方面,Heretic 通过 Optuna 自动搜索修改参数,在改变目标行为的同时尽量减少对模型其他能力的影响。除了去审查,它还提供现成配置用于减少幽默、改变情绪对齐、压缩回复长度等行为调整。对于在本地跑开源模型的用户来说,这提供了一条不依赖微调数据的模型行为修改路径。
GitHub上一个拿到4.2万Star的开源项目:Heretic,不用微调不用重新训练,直接修改模型行为
如果你觉得下到本地上的模型说话一股AI味、谄媚、问敏感问题就拒答,就可以用它
一个4B的Qwen,在RTX 3090上全程约30–40分钟就能处理完。Gemma 3 12B,处理完拒答率从97%降到3%
它用权重消融技术直接干预模型内部行为,方法叫 Abliteration,通过识别与拒答相关的激活方向修改模型权重来抑制拒答;新版2.0默认用更灵活的ARA,不再依赖单一拒答方向的假设
还通过Optuna自动搜索修改参数,尽量在改变目标行为的同时,减少对原模型其他能力的影响
除了去审查、去AI味,它还提供现成配置:减少幽默、改变情绪对齐、压缩回复长度等
#Heretic #LocalLLM #修改模型行为
本条情报归属 AITOP「技巧」核心追踪栏目。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Heretic、Qwen、Gemma 3、开源模型,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「AIGCLINK」(@aigclink),经 AITOP 多维评分管线结构化提炼。