Pipecat 1.16 新增 PerceptionReader,配合 Google Decision 1 识别语音语气
语音机器人一直听不出用户的讽刺和情绪,Pipecat 1.16 的 PerceptionReader 直接补上了这块,把音频流给 Google Decision 1 就能读出语气。做 voice agent 的开发者可以直接去他们的 Vercel demo 上试玩,对比自己现在的 ASR+LLM 流水线,文档也更新好了。
Pipecat 发布 1.16 版本,新增 PerceptionReader 组件,Daily 的 Phil Schmid 在 X 上分享了配合 Google Decision 1(昨日发布)的实测示例,并上线了公开 demo(pecat-google-decision-demo.vercel.app)。
语音智能体此前大多只能理解用户说了什么,却无法捕捉说话方式。PerceptionReader 的思路是把音频流直接喂给 Google Decision 1,模型会返回对用户语气(prosody)、语调和讽刺语气的较为准确的判读。Schmid 强调“怎么说”和“说什么”同样重要,这正是现有 voice agent 缺失的能力。
团队还在探索多种衡量表现力的方法,后续会有更多分享。对做语音智能体的开发者来说,Pipecat 文档(docs.pipecat.ai)已同步更新 PerceptionReader 的 API 参考。
Great example for the Google Decision 1 audio capability. Jon Taylor @JonPTaylor Pipecat 1.16 adds PerceptionReader, something I'm really excited about. How someone speaks can matter just as much as what they say, and voice agents have mostly been missing that. We’ve been testing it with Google Decision 1, released yesterday. Stream it audio and you get a pretty accurate read on the prosody, tone and sarcasm of what the user said. Try talking to it at this demo here: …pecat-google-decision-demo.vercel.app We've exploring many different ways of measuring expressivity... more to share on that soon! ➡️ Pipecat Docs: docs.pipecat.ai/api-reference/… ➡️ Google Decision 1: blog.google/innovation-and…
本条情报归属 AITOP「产品」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Pipecat、Google Decision 1、PerceptionReader、语音识别,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Philipp Schmid」(@_philschmid),经 AITOP 多维评分管线结构化提炼。