从三元组出发:一条知识如何同时连接文字、声音与3D
精选理由
王树义把一个多模态知识表征模型讲得很透:一条关系同时挂上文字、图像、音视频和3D位置,比普通三元组灵活多了。
这段拆解围绕 N-ary 多模态统一知识表征模型展开,起点是经典的三元组结构。书里的一段话、图中的一块区域、一段音视频、一个三维位置,都被放进同一条 N 元关系里,而不只是两个实体之间的连接。拆解演示了这种扩展后的关系如何描述跨模态的对应。读者可以借此理解多模态知识图谱从二元组到 N 元组的建模思路。
原文 · 王树义
一条知识,怎样连接文字、声音与3D?从三元组出发,拆解 N-ary 多模态统一知识表征模型:书里的一段话、图中的一块区域、音视频片段和三维位置,怎样放进同一套关系中? https://t.co/Yv3p0O7Fsb