多模态特征融合

Posted by Shaoguang Blog on December 13, 2018

融合方法

  • Tensor Fusion Network for Multimodal Sentiment Analysis 提出Tensor Fusion Layer, 自动学习各单模态表示、双模型和三模态之间的交互,融合之后得到一个高维的tensor,对比之间直接concat各单模态表示结果,在效果上有很大提升