ASL 训练的姿态编码器可零样本迁移至六种低资源手语检索
只训练美国手语,就能直接检索六种其他手语,连标注语料都没有的词典场景也能用。InfoNCE 加阻断肢体间注意力这两个细节就能涨 5 个点以上,做手语或视频检索的值得看看消融部分。
只训练美国手语,就能直接检索六种其他手语,连标注语料都没有的词典场景也能用。InfoNCE 加阻断肢体间注意力这两个细节就能涨 5 个点以上,做手语或视频检索的值得看看消融部分。
Google DeepMind把手语变成了输入法,在Pixel 11上直接打手语就能发消息,比打字还快,聋人群体有福了。
Google DeepMind和Android搞了个SL2T,能把手语直接转成文字,不用打字了。Pixel 11上就能用,对聋人朋友很实用。
Google DeepMind和聋人社区一起做了个SL2T,能把美国手语直接输进手机,以后手语用户用手机就方便多了。
Google DeepMind出了个手语转文字模型SL2T,能把手语实时变文字,聋人朋友用起来方便多了。
想了解手语识别和低资源语言翻译怎么落地?这篇用VideoMAE+NLLB-200直接搭了个两阶段流水线,13类测试精度78%,还带Streamlit演示和代码。