Axera 出了颗边缘芯片 AX8860,256 TOPS 还能多颗级联跑大模型,兼容 vLLM,做端侧部署的可以看看。
#边缘计算
国产边缘端 AI 芯片跑分直接对标 DGX Spark,prefill 快 25%,价格砍一半,还能四芯级联到 1024 TOPS,跑本地大模型可以关注下。
欧姆龙花 6.3 亿美元买下美国的工控机厂商 OnLogic,看中的就是它能给工厂机器人和物理 AI 做边缘计算硬件。
Liquid AI开源了两款小尺寸决策模型,最小只有600M还支持多模态,在边缘设备上几十毫秒就能出结果,做端侧Agent的可以试试。
TechCrunch Battlefield 200 里的公司,做的是帮开发者把 AI 模型直接跑在芯片上,省去底层优化的麻烦。
微星出了个巴掌大的无风扇 AI 盒子,装的是 Jetson Orin Nano 8GB,能在现场跑推理和视觉,工厂和机器人场景应该用得上。
XFEON 一次发了三样东西:25W 就能跑 105 TOPS 的 Xinghe S1 芯片、具身智能大脑 AGLobe,还有 Token 工作站,做机器人的可以看看。
Microsoft Research 研究说机器人不用把推理都塞进本体,放到外部算反而任务成功率更高、效率更好,做具身智能的可以看看。
这篇论文挺反常识的:不用任何权重、靠 Mandelbrot 分形坐标做语言决策,延迟只有 7ms 还能跑在单片机上,可以看看它怎么绕开 LLM 的。
朋友,Infinigence AI 开源了 APXInf 模型,能在 Jetson Thor 上把推理延迟降到 26ms,比原来快很多。
D-Robotics 和 GigaAI 联合发布,将 GigaBrain-0.7 模型适配到 Sunrise S600 边缘平台,用于工业机器人部署,性能和部署场景有提升。
Cloudflare 给 Workers 加了原生 TCP 入口,可以直接跑 gRPC 服务,不用再绕道别的协议了。