新论文：递归自我改进尚无安全共识，博弈模型显示联合等待可行
这篇论文把 RSI 安全问题做成了可分析的博弈模型，结论挺有意思：高风险时两家同时踩刹车反而是稳定策略。做 AI 安全研究或关注政策的人可以看看它的论证结构。
一篇新论文指出，递归自我改进（RSI）——即 AI 训练出更好的 AI、后者再继续改进的循环——目前缺乏明确的安全评估框架，AI 公司已开始推进却对何时算安全没有共识。
论文作者以普通用户身份，仅凭 1 条高层提示词就让 AI 从零训练了一个小型 LLM，用来演示 RSI 门槛之低；在 Metr 的安全工作坊上，专家们对 RSI 安全前提的判断各不相同，根源在于各自设想的结果模型不同。
作者还构建了一个 2 人博弈模型，显示 RSI 竞赛并非在任何风险水平下都是囚徒困境：在高风险区间，双方同时克制是稳定结局，这意味着集体性等待在博弈论上是可行策略，为协调放缓提供了理论依据。
This paper argues that no one can call recursive self-improvement safe yet, because we lack even a clear way to think about where it leads.
Recursive self-improvement, or RSI, means an AI builds a better AI, which builds a better one, and so on. AI companies are starting to pursue it, with no shared view of when it would be safe.
As an ordinary user, the author got an AI to train a small LLM from scratch from 1 high-level prompt. At a https://t.co/I8EjyOkuK6 safety workshop, experts listed very different conditions for RSI because they imagined very different outcomes.
His 2-player game shows the RSI race is a Prisoner's Dilemma only at some risk levels. At high risk, both sides holding back is a stable outcome, so waiting together can work.
本条情报归属 AITOP「论文」核心追踪栏目。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：递归自我改进、AI安全、RSI、博弈论，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「rohanpaul_ai」（@rohanpaul_ai），经 AITOP 多维评分管线结构化提炼。
