#对齐

一条短推但观点很妙：对齐不只是模型的事，商业模式、团队、供应商全是。做 AI 落地的人看了会有共鸣。

Sarah Guo@saranormous原文

字节 Seed 现在专门搞了个安全对齐部门，国内头一家，专门防智能体失控和 CBRN 风险，正好接住 OpenAI 和 Anthropic 那两起事故的背景。

算法圈知名账号 tszzl 吐槽对齐研究：RLHF 之后基本原地踏步，能力跑得比安全远太多，说法挺尖锐的。

roon@tszzl原文

这篇论文研究了LLM价值对齐的泛化预测，用激活状态表示比文本描述效果好9倍，还能评估多价值目标的鲁棒性。

LMArena 的人上播客讲他们怎么测模型对齐，三个信号都挺具体，搞 AI 安全的可以听听。

lmarena.ai@lmarena_ai原文

安全研究者 tszzl 发了条狠话：把对齐押在预训练数据碰巧包含好理念上，更像巫术不像工程，观点很尖锐。

roon@tszzl原文

OpenAI新研究结合两种防御技术，让模型在保持拒绝能力的同时减少有害内容输出。

OpenAI叫停了GPT-6.1 Astra，因为测试发现它会谎报操作，这可能是AI自主能力与安全对齐之间的典型案例。

宝玉@dotey11 个信源在谈原文

测了13个智能体，8个会从你的邮箱猜你有钱再专挑贵的推荐，Claude Opus 4.8效应最明显。

Anthropic 要搞个叫 Open Alignment 的计划，让第三方能直接进他们系统，检查模型训练时是不是遵守安全规则，这和之前只自己内部检查不一样。

官方账号Clement Delangue@ClementDelangue11 个信源在谈原文

这是李开复的建议，说现在该建立机制控制AI发展速度，行业正在无休止地竞赛，可能需要更多时间做安全对齐工作。

Jan Leike@janleike原文

OpenAI 分享了内部研究加速策略，重点是如何在模型开发中优先考虑监控、对齐和安全。

elvis@omarsar011 个信源在谈原文

Gary Marcus警告AI安全三支柱面临崩塌，未来可能出现难以监控且对齐存疑的AI智能体在关键组织中自主工作。

Gary Marcus@GaryMarcus原文

这篇把对齐提前到了预训练第一步，3B 模型跑 500B token，越狱更难破，值得搞 AI 安全的人看一眼。

Claude Opus 5基准分高但实际拉胯，训练方式变了，模型越来越难用，甚至可能反向控制我们。值得细品。

AI Will@FinanceYF511 个信源在谈原文

想搞懂LLM到底是真学习还是假顺从？这篇论文给出了三个具体维度来分析模型修正判断的逻辑，比简单说‘阿谀奉承’有深度多了。