12:07IT之家(博客/媒体)精选乌克兰开发者 Slava S 发布 ESP32-AI 项目,在乐鑫 ESP32-S3 开发板(8MB PSRAM、16MB 闪存)上部署了 2890 万个参数的本地 AI 模型,此前该板 AI 参数上限仅 26 万。开发者采用 Google Gemma 的 Per-Layer Embeddings 技术,模型经 4-bit 量化后文件大小为 14.9MB,嵌入表存入 16MB 闪存,每生成一个 Token 只需读取少量数据。该模型无法支持聊天或编程,但可离线生成咖啡配方(豆、研磨、配比、水温)。AI产品ESP32-AIESP32-S3乐鑫2 个信源在谈事件专题推荐理由:一个 ESP32-S3 板子就能跑 2890 万参数模型,还能离线下咖啡配方,小硬件玩大模型的天花板又高了。原文稍后读已读值得跟进有用关注 ESP32-AI
11:17Yangyi@Yangyixxxx开发者成功在售价约8美元的ESP32-S3微控制器上本地运行了一个28.9M参数的语言模型。该模型无需连接服务器,生成速度约为9.5 tok/s。这展示了端侧AI成本的大幅降低,使得低功耗设备也能运行轻量级语言模型。AI模型ESP32-S328.9M参数语言模型2 个信源在谈事件专题推荐理由:8美元的ESP32-S3就能跑语言模型,速度9.5 tok/s,端侧AI门槛又降低了,值得关注。原文稍后读已读值得跟进有用关注 ESP32-S3
17:50Geek@geekbb开发者成功在售价 8 美元的 ESP32-S3 芯片上运行了接近 2900 万参数的 LLM。核心技巧是将大部分模型参数存储在 Flash 而非 RAM 中,借鉴了 Google Gemma 的 Per-Layer Embeddings 思路。该方法大幅降低了内存占用,使低成本边缘设备也能运行较大模型。项目已开源在 GitHub 上。技巧ESP32-S3LLMGemma1 个信源在谈事件专题推荐理由:别人用 8 美元的芯片跑大模型,靠的是 Gemma 的分层嵌入技巧。想低成本部署边缘 AI?这个开源项目就是参考答案。原文稍后读已读值得跟进有用关注 ESP32-S3