模型精选

Kai Van Brunt 将 Molmo 2 适配为水下鲑鱼声呐视频追踪模型 Molmo2Fish

精选理由

Allen AI 的开源视频模型 Molmo 2 被拿去做鲑鱼声呐追踪,还能用一句话纠正追踪错误,这个跨界玩法挺有意思。

Allen AI 研究员 Kai Van Brunt 将其开源视频理解模型 Molmo 2 适配到一个与原始训练数据相距很远的领域:鲑鱼声呐视频。适配后的原型 Molmo2Fish 能够追踪水下鱼类,并支持通过自然语言指令纠正部分追踪错误。这一案例展示了开源多模态模型在渔业监测等专业场景中的可迁移性。

原文 · Allen AI (Ai2)

Kai Van Brunt adapted Molmo 2, our open model for video understanding, to a domain far outside its training data: sonar video of salmon.

Meet Molmo2Fish, a prototype that tracks fish + can correct some of its mistakes through natural-language guidance. 🧵

https://t.co/8TdJ3fRQcM