事件专题 ·多源确认

Context–Answer Metamodels:在首个答案 token 生成前预测 LLM 激活

一篇 arXiv 论文提出 context–answer metamodels,把模型读上下文时的激活序列映射为答案激活的点预测或分布预测。实验覆盖 4 种 metamodel 家族,训练集规模扩展到 500,000 条 prompts 时预测精度持续提升,且能零样本泛化到域外数据集。预测结果保留了行为层面的预测信号。Qwen2.5 的上下文激活可以预测 Qwen3.5 和 Gemma 4 的答案激活,说明激活预测能跨模型迁移。

当前结论

用读上下文的激活就能预测模型答案阶段的激活,跨 Qwen2.5 到 Gemma 4 都能迁移,做可解释性或行为预测的可以看看这篇。

5 个信源31° AI 热度最后更新 2026/11/4 17:53:52

证据链

5 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。

Context–Answer Metamodels:在首个答案 token 生成前预测 LLM 激活 · 事件专题|AI热报