Jack Clark 分享了他爱看的一类 AI 论文:专攻某个极窄场景的应用研究,像 CucumberVision at the Edge 这种标题就很妙。想做 AI 落地、关心模型在真实环境里会卡在哪的人,可以顺着这个思路找论文看。
#边缘部署
OpenBMB 晒出了 MiniCPM 挑战赛的 16 个获奖项目,有 Mac mini 上的摄像头助手把调用从 720 次砍到 60 次,还有配音工具和自蒸馏训练数据全开源,做端侧部署的可以抄作业。
Liquid AI 的 d1 3B 单卡跑 Snake,8ms 决策吃了 86 个苹果,OpenAI API 345ms 才吃 3 个,对比很直观。
Arm 的人在 PyTorch 大会讲怎么用 ExecuTorch 把智能体跑进机械臂和穿戴设备,做边缘部署的可以去听。
想了解边缘部署的AI模型在野外实际场景中的表现,这篇论文对比了通用模型和专用模型在物种识别任务上的差异。
PrismML 把 Qwen3.6-27B 压到 5.9GB,手机都能本地跑,还全开源,适合离线使用。
这篇论文告诉你,不用几千GPU天也能搜出好架构,普通3060显卡3小时就能找到比ResNet-20更小的CIFAR-10模型,还能直接优化欺诈检测的F1分数。
FADA 解决了中低收入国家超声技师短缺导致的产前筛查缺口,做医疗 AI 或边缘部署的团队可以直接在手机上跑完整流程,值得关注其开源代码和模型。
本地部署LLM的开发者终于有办法解决队头阻塞了——Clairvoyant用极低开销预测请求长度,短查询不再被长任务堵死,Ollama/llama.cpp用户可以直接集成试试。
ReMoE解决了内存受限设备上MoE模型推理的I/O瓶颈,做边缘部署或大模型推理优化的开发者可以直接试,开源代码让复现门槛很低。
OrpQuant解决了低比特量化中特征流形退化的问题,做边缘部署的开发者可以直接用这个15分钟校准的方案替代传统MAC密集型方法,硬件效率显著提升。
眼动数据缺失是认知负荷评估的长期痛点,MambaGaze用双向Mamba显式建模缺失模式,做可穿戴AI或人机交互的团队可以直接参考其边缘部署方案。
1.3B参数就能在多项基准上超越更大模型,做边缘部署或移动端视觉应用的开发者值得一试,成本低效果强。