山东大学学报(理学版)

作者：卢婵,郭军军,谭凯文,相艳,余正涛

单位：1. 昆明理工大学信息工程与自动化学院, 云南 昆明 650500；2. 昆明理工大学云南省人工智能重点实验室, 云南 昆明 650500

关键词：多模态情感分析,多模态融合,注意力机制,门控网络,

基金：国家重点研发计划资助项目(2020AAA0107904);国家自然科学基金资助项目(62366025);国家自然科学基金资助项目(62241604);云南省科技厅基础研究专项面上项目(202301AT070444)

提出了一种基于文本模态指导的多模态层级自适应融合方法, 以文本模态信息为指导实现多模态信息的层级自适应筛选及融合。首先, 基于跨模态注意力机制实现两两模态之间的重要性信息表征; 然后通过多模态自适应门控机制实现基于多模态重要信息的层级自适应融合; 最后综合多模态特征和模态重要性信息实现多模态情感分析。在公共数据集MOSI和MOSEI上的实验结果表明: 对比基线模型, 本文所提方法在准确率与F1值方面分别提升了0.76%和0.7%。

来源：2023年第12期

《山东大学学报(理学版)》期刊编辑部

查看山东大学学报(理学版)杂志2023年第12期