Self是人工智能领域一种新兴的自我改进框架，通过让AI系统进行自我提问和自我反思来提升性能和风险控制效果。近期，随着大语言模型技术的快速发展，Self框架正在成为AI研究的重要方向之一。
Self 近期进展
9月17日，arXiv上发表了题为"LLM自我提问框架提升风险控制效果"的研究，提出了一种让大语言模型通过自我提问来提高风险控制能力的方法。该研究表明，这种自我反思机制能够显著减少AI系统产生有害内容的概率。
斯坦福大学近期推出了"Self-Improving AI Agents"课程，专门研究如何让AI智能体实现自我改进和进化。这一课程反映了学术界对自我改进AI系统的高度关注。
智谱AI于9月发布了GLM-6.0全自训练模型，该模型采用了完全自主的训练方法，代表了AI自我训练技术的重要进展。该模型在多项基准测试中表现出色。
当前焦点与观察点
Self技术正在从理论研究向实际应用转变。Cursor等开发工具已开始支持自托管机器功能，让开发者在本地环境中运行具有自我改进能力的AI智能体。
然而，AI自我进化也面临挑战。研究表明，当智能体尝试进行递归自我改进时，可能会出现性能下降或偏离目标的问题。这提示我们，AI自我改进需要更严格的监控和引导。
当前，Self技术主要应用于特定任务而非通用智能。例如，Shopify开发的0.8B模型在专门任务上表现优异，但在通用能力上仍有局限。这表明自我改进技术需要与领域知识深度结合才能发挥最大价值。
随着Self技术的不断发展，如何平衡自主性与可控性将成为关键问题。研究人员正在探索"递归自我改进"的边界，试图让AI系统在保持安全的前提下实现真正的自我进化。