Salesforce 联合英伟达推出 Koa 推理大模型，挑战闭源前沿模型

IT之家 9 月 15 日消息，本周在规模盛大的 Dreamforce 技术大会上，Salesforce 最重要的发布成果之一就是一款名叫 Koa 的全新 AI 模型。Koa 是该公司首款推理大模型，基于英伟达开源权重的 Nemotron 模型打造。两家企业联合完成了 Koa 的后续微调训练，让其擅长处理销售、市场营销以及客户服务类任务。 Koa 是一个很典型的例子：面向企业的 AI 需求，正在和前沿 AI 实验室所提供的产品逐渐分化。那些闭源 AI 实验室更希望企业直接把文件、代码、提示词以及反馈全部上传到自家模型与智能体当中，并为此花费数百万美元。 而借助这款模型，Salesforce 向它的企业客户提供了以下能力： 作为闭源前沿大模型之外、采用开源权重的备选方案 专门针对实际业务任务训练（而不是主攻高难度数学解题） 训练过程没有摄入任何真实客户数据，因此不存在向外泄露客户数据的风险 有助于降低 AI 使用成本，完成同等业务任务消耗的词元（Token）数量更少 可以根据业务需求，经由 AI 网关实现自动调度路由 完全遵从客户的数据管控要求，安全机制深度内嵌于 Salesforce 平台内部 IT之家注意到，Koa 将作为 Agentforce 平台上的可选模型。客户可以在该平台搭建 AI 智能体，用来处理客服问答、预约排期这类重复性工作。 “此前我们已经开发过不少面向专项任务的小型语言模型，都属于 Agentforce 产品矩阵的一部分。”Salesforce 人工智能业务高级副总裁杰耶什 · 戈文达拉扬（Jayesh Govindarajan）在接受《TechCrunch》采访时表示，“但是复杂推理任务，过去我们一直依赖外部前沿模型服务商。这种局面到现在终于改变了。” 在 Koa 问世之前，如果智能体需要完成长流程或者多步骤的推理任务，对应的提示请求就会经由 Agentforce 的 AI 网关（这套系统负责分配不同请求交由哪一款模型处理）转发至 Claude 或者 ChatGPT 这类第三方前沿大模型。 “过去我们迟迟没有训练自研的企业级高性能推理模型 —— 其实我们一直有这个想法，但难点在于缺少合适的预训练基础底座模型。在 Nemotron 出现之前，美国本土没有一套自主可控的预训练底座，同时还需要同时满足三点要求：性能处于第一梯队，并且拥有清晰完整的数据溯源。对于千问（Qwen）是基于什么数据完成训练的，我们并不清楚。”戈文达拉扬谈及阿里这款知名的开源权重模型时说道。 对底座模型做后续微调，就是把通用基础模型改造为精通销售与客服业务知识的专用模型。 Salesforce 与英伟达在微调阶段没有使用任何 Salesforce 的真实客户数据；取而代之的是自行生成模拟业务的合成数据集。 “我们完整模拟了客服业务场景：设定专职客服人员角色，模拟打进客服热线的愤怒投诉客户，也模拟了努力推进成交的销售人员。”戈文达拉扬介绍道。 相比于把同类业务请求交给 Claude 或是 ChatGPT 处理，Koa 的目标是更加擅长 Salesforce 客户的业务工作，并且在 Token 消耗上更加省钱。 依托 Nemotron 底座，“这套独特的推理架构可以很好控制 Token 开销。”英伟达企业生成式 AI 软件副总裁卡里 · 安 · 布里斯基（Kari Ann Briski）表示，“它同时达成了三项关键目标：AI 自主可控、首包响应速度快、推理运算高效，从 Token 经济层面实现理想效果。” 当然，Salesforce 并没有就此放弃与 Anthropic、OpenAI 的合作。该公司刚刚宣布和 Anthropic 达成一项名为 ClaudeForce 的合作项目。企业用户可以直接以 Claude 作为 AI 交互前端，同时所有业务数据依旧保存在 Salesforce 的业务记录系统之内，由 Salesforce 基础设施提供安全防护。