事件专题 ·多源确认

研究发现 LLM 可直接编程表格基础模型权重与缓存

arXiv 论文(编号 2611.20174)展示了 LLM 能在不做梯度优化的前提下,直接对表格基础模型(TFM)进行权重编程。实验使用 GPT-6 Astra,在三种设定下验证:一是从零初始化权重直接编程 nanoTabPFN,在 20 个 TabArena 数据集上取得平均 ROC AUC 0.849,接近预训练基线的 0.876;二是诊断并修复了预训练 TabPFN-3.5 中符号乘积回归的失败点,修复后仅带来 0.08% 的平均相对误差增加;三是通过编写 KV-cache 编辑程序改变 TabPFN-3.5 的预测行为,例如反转线性趋势、把正弦波转成近似方波,全程不改动模型权重。论文认为 LLM 驱动的编程可以补充基于梯度的优化方式,也为观察和干预 TFM 内部计算提供了新途径。

当前结论

GPT-6 Astra 不训练就能把 nanoTabPFN 从零权重编到 ROC AUC 0.849,还能靠改 KV-cache 让 TabPFN-3.5 反转趋势。做表格模型或可解释性研究的人应该看看这篇,思路和微调完全是两条路。

6 个信源57° AI 热度最后更新 2026/11/15 18:25:19

证据链

6 个信源
相关来源 5歸藏(guizang.ai)
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。