模型

开源模型 Laya 在 Apple MLX 上性能优化,决策速度提升

好样的,开源平替越来越强了。 https://t.co/o25zwpzszz

精选理由

开源社区真牛,把 Laya 移植到 Apple MLX 上,性能优化后每秒能做 60 次决策,在 M2 上还只占 1G 内存,玩贪吃蛇都丝滑。

开源模型 Laya 被移植到 Apple MLX 框架后,性能得到深度优化。在 M2 芯片上实测,仅占用 1G 内存,每秒可完成 60 次决策。这种意图决策模型最大的瓶颈是网络延迟,本地运行时能实现原地起飞。

图片来源 · Geek
原文 · Geek

好样的,开源平替越来越强了。 https://t.co/o25zwpzszz

好样的,开源平替越来越强了。 github.com/mizorewww/laya… Lonely @Lonely__MH 🎉牛逼!没有最快,只有更快! 比Jev 快50倍是什么体验?! 本地跑 laya-mlx 原地起飞✈️ 这种意图决策模型最大的瓶颈就是 网络延迟 Laya 是一个开源的、基于文本输出概率的分类系统我正式,开源社区已经有人将其移植到了 Apple MLX 框架,并进行了深度性能优化! 我用M2 Po实测,仅占用1G内存,每秒 60次的决策速度玩转贪吃蛇😄 丝滑!👇🏻 Your browser does not support the video tag. 🔗 View on Twitter 🔗 View Quoted Tweet 💬 0 🔄 0 ❤️ 14 👀 4607 📊 4 ⚡