行业精选

大厂超级 App 内部做 AI 助手有多难?事难,人更难

在互联网时代的大厂超级 App 里做 AI 有多难?超乎想象的难,事难,人更难! 比如某个 App 要把一级搜索入口做 AI 搜索(或者叫 AI 助手/智能体),这个 App 本身不垂直,能力非常全...

精选理由

大厂内部做 AI 助手,事难,人更难,比如美团、淘宝这类不垂直的 App,想做成一级搜索入口的 AI 助手,跨部门协作和模型训练的挑战很大。

比如美团、淘宝这类不垂直的 App,想把一级搜索入口做成 AI 助手,架构中的模型组合是难题。更复杂的是前端意图识别和多个垂类模型,大厂倾向于用公司数据自训,超过10个垂类很常见。后训练过程算力消耗大,2-3个月未必搞定,但基座模型又升级了。比事更难的是跨部门协作,不同团队分工明确,中间环节容易因优先级、方案评审等付出额外时间。甚至可能被大老板打回重做,上线后收益不达预期还可能被架构调整,飞书豆包就是例子。

原文 · shao__meng

在互联网时代的大厂超级 App 里做 AI 有多难?超乎想象的难,事难,人更难! 比如某个 App 要把一级搜索入口做 AI 搜索(或者叫 AI 助手/智能体),这个 App 本身不垂直,能力非常全...

在互联网时代的大厂超级 App 里做 AI 有多难?超乎想象的难,事难,人更难! 比如某个 App 要把一级搜索入口做 AI 搜索(或者叫 AI 助手/智能体),这个 App 本身不垂直,能力非常全面,比如美团、淘宝、微信等。 光是整个架构中的模型组合,就是一个很考验功底的判断。Agent 主推理模型反而是更容易确定的,模型性能、成本、部署成本等量化对比,再结合实测,就基本能定。 更复杂的是入口最前端的意图识别,和深入到多个分类中的垂类模型,这些垂类模型,大厂往往更倾向于自己用公司积累的数据后训练模型,恨不得每个分类训一个,超过 10 个轻轻松松。 这些后训练过程,算力消耗、训练周期、评估合理性等,都有很多额外的工作量,整个周期下来,2-3 个月未必搞得定。可这个时间差,基座模型又升级了,要升吗?升的话又是 2-3 个月,不升的话就眼看着 AI 能力掉一档,两难。 比事更难的,还是人。大厂分工非常明确,权责也非常分明。比如负责模型训练、模型评测和 App 开发、AI 搜索开发的,大概率是不同的团队,如果再跨部门,就更麻烦了。中间过程很容易因为优先级、方案评审、指标通过率等付出额外的,甚至比事情本身更长的时间。 这还没提向大老板汇报环节,即使前面 81难都过了,到了大老板那,也可能被莫名奇妙的打回来,从某个点推倒重来。 即使这些都过了,上线了,一段时间收益不达预期,也可能整组「架构调整」。 比如飞书和豆包,飞书最近两年的 AI 能力跟进,绝对是比钉钉和企微激进得多的。但豆包吃掉飞书和 TRAE 后,飞书内的 AI 都在豆包化,某个飞书团队几年的工作,可能就这么被抹掉了。这样的例子,在中国互联网大厂,实在不少见。 💬 2 🔄 0 ❤️ 1 👀 203 📊 2 ⚡