Tiny 是 AI 领域指代微型化、轻量化模型与端侧部署的一类统称性方向,涵盖 TinyML、小型语言模型和面向资源受限设备的推理方案。它的核心目标是在算力、内存和功耗受限的硬件上运行机器学习,与云端大模型形成互补,是当前 AI 落地中“最后一公里”的关键环节。
Tiny AI 的近期进展
端侧硬件层面,爱信联合东北大学开发 16nm STT-MRAM AI SoC,目标检测能效提升 50 倍。这款芯片采用 STT-MRAM 存储技术,据称在目标检测任务上能效提升 50 倍,说明 Tiny 方向的突破正在从算法侧转向软硬件协同设计,存算一体与新型存储器成为端侧 AI 的重要路线。
小数据与轻量训练层面,DiffPT:用扩散模型预训练分类器,小样本场景更有效 提出利用扩散模型作为预训练底座,在标注数据稀缺的场景下提升分类性能。这类工作反映了一个趋势:Tiny 场景下不仅模型要小,训练数据的获取成本也被压到最低。
开源生态层面,蚂蚁集团近期开源了 Ming-3.0 语音系列五款模型,覆盖 TTS、音频理解与 ASR(见 蚂蚁百灵开源 Ming-3.0 语音系列五款模型,覆盖 TTS、音频理解与 ASR),其中 Ming-3.0-tts 登顶开源 TTS 榜单。虽然这些并非严格意义上的 Tiny 模型,但开源中小型多模态模型的持续增多,为端侧语音应用提供了可裁剪、可蒸馏的基础。
当前焦点与观察点
Tiny 方向的争议主要集中在三点。其一是能力边界:小模型在垂直任务上可以接近大模型,但在泛化与推理上仍有明显差距,“够用”与“好用”之间如何取舍尚无定论。其二是评测标准:端侧部署涉及延迟、功耗、内存占用等多个维度,单一榜单难以反映真实体验。其三是安全与更新:部署在数以亿计的边缘设备上的模型,如何持续更新和防护对抗攻击,仍是开放问题。
值得关注的观察点包括:新型存储与存算一体芯片能否把能效优势转化为量产成本优势;小样本与测试时适应等训练技术能否进一步降低端侧模型的定制门槛;以及开源社区中小尺寸多模态模型的迭代速度。总体来看,Tiny 并非大模型的替代品,而是 AI 普及过程中不可绕过的一层,其进展更多体现在硬件、训练方法与开源生态的合力上。