Anthropic 要上市了,另外 ARC Prize 实测了 Inkling 2 Small,Thinking Machines 还分享了抓模型绕过护栏的排查细节,三条都挺有料。
GuardRailsGuardRails
安全与开发团队协同,简化应用安全
在做什么
GuardRails 是一个平台,旨在简化应用安全,帮助安全团队和开发团队共同负责早期的安全问题。
最近动态
信息流里提到这家公司的条目有人在搭开源模型的一站式平台,从推理到训练到沙箱都包了,跑开源模型的朋友可以看看省去自己拼积木。
阿里云的 Qi Zhou 在阿姆斯特丹讲 Agent 怎么在生产环境里跑稳,核心是上下文和 guardrails,做企业级 Agent 的可以看看。
OpenRouter 把企业管控做细了:全组织设预算和模型权限,还能给个别人单独放开额度,管团队 API 用量的人可以看看。
Databricks 给 Lakeflow Designer 加了一批数据准备新功能,比如质量检查护栏和无代码去重,做数据管道的可以看看能不能少写点代码。
Databricks 放了个演示,讲怎么用 Genie Ontology 加 MCP,让智能体查数据时带上业务含义和护栏,做数据智能体的可以看看。
搞 RL 训练的朋友可以看看,CoreWeave 这个 GPU 沙箱按小时付费不用包年,还能把死循环隔离在单个沙箱里,不拖垮整体训练。
AWS 教程教你怎么用 Bedrock AgentCore 搭个智能体,把企业文档自动变成 PPT,90 秒出稿,还带 RAG 引用,做内部汇报的可以照着搭。
通用模型锁死安全能力,Artemis 的 Orion-1 专做防御,还跑赢了 Claude 和 GPT。
HamelHusain的AI评估口袋指南,13张卡片帮你掌握评估ROI、指标设计和自动化方法,比课程更实用。
Dify 的插件市场已经攒了 1000 多个插件和 300 多个模板,做 AI 应用要接 RAG 或智能体编排可以先去翻翻。
安全团队看这个:论文用 NeMo Guardrails 给 SOC 的 LLM 加护栏,注入识别召回率从 25.0% 干到 94.5%,还放出了对抗测试语料,思路可以直接抄。