ElevenLabs Summit NYC 发布 Agent 更新：持续微调、交互引擎与 ElevenAI
ElevenLabs 这次一口气发了好几样：企业可以拿自己的数据微调它的语音模型，新交互引擎会按对话难度自动切换贵的和便宜的模型来省 token，ElevenAgents 还能记住通话里顺带提过的事、通话前后自动干活。做语音客服或电话 Agent 的开发者可以看看这套路由省成本的玩法。
ElevenLabs 在纽约 Summit 上宣布了面向 Agent 的多项更新。企业将在未来几个月内与其团队合作，用自有数据持续微调其 Text to Speech、Speech to Text 模型以及开源 LLM。新产品 Interaction Engine 会根据对话内容的复杂程度动态选择 LLM：简单请求交给低成本模型，退款等复杂场景交给前沿模型，从而在保证效果的同时降低 token 开销。
ElevenAgents 也获得两项能力：一是 Memory，Agent 能记住对话中顺带提及的信息，方便企业后续跟进；二是 Routines，Agent 可以在通话前后执行操作，例如先预筛房贷申请人再回电，或在账单引发纠纷前主动发短信说明。此外还推出了 ElevenAI，一款办公 AI 助手，支持在任意应用中语音输入、生成会议记录、在 Agent 与人之间传递上下文，并在通话中提供实时辅助。
这批更新显示 ElevenLabs 正从语音模型公司转向企业级语音 Agent 平台，按需分配模型的思路与 Vapi、Retell 等语音 Agent 平台的成本控制方向一致，对需要大规模部署电话或客服 Agent 的企业值得关注。
Today at ElevenLabs Summit NYC, we shared what we’re building next for agents. Here’s what we announced: Fine-tuning: In the coming months, enterprises can work with our team to continually fine-tune our Text to Speech and Speech to Text models, as well as open-source LLMs, on their own data. Interaction Engine: A new system that picks the right LLM for each moment of a conversation. It uses less expensive models for simple requests and frontier models for complex ones like refunds, so you get the right outcome without overspending on tokens. Memory in ElevenAgents: Agents remember what gets mentioned in passing, so businesses can act on it. Routines in ElevenAgents: Agents can now run operations before and after conversations, like pre-screening a mortgage applicant and calling them back, or texting about a confusing bill before it turns into a dispute. ElevenAI: A new AI assistant for work that lets you dictate into any app, takes meeting notes, passes context between agents and people, and provides live assistance during calls.
本条情报归属 AITOP「产品」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：ElevenLabs、ElevenAgents、语音 Agent、Text to Speech，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「ElevenLabs」（@elevenlabsio），经 AITOP 多维评分管线结构化提炼。
