山东大学学报(理学版)

作者：孟金旭,单鸿涛,黄润才,闫丰亭,李志伟,郑光远,刘一鸣,石昌通

单位：1.上海工程技术大学电子电气工程学院, 上海 201620;2.上海建桥学院信息技术学院, 上海 201306;3.上海擎玺智能科技有限公司, 上海 201800

关键词：XLNet,双通道,文本分类,BiGRU,CNN,

基金：国家自然科学基金资助项目(61803255)

提出了基于XLNet的双通道特征融合文本分类(XLNet-CNN-BiGRU, XLCBG)模型。相对于单模型通道,XLCBG模型通过融合XLNet+CNN和XLNet+BiGRU这2个通道的特征信息,能提取更加丰富的语义特征。XLCBG模型对融合后的特征信息分别采用了Maxpooling、Avgpooling和注意力机制等处理方式,分别提取全局中特征值最大的向量、全局中的均值特征向量、注意力机制的关键特征来代替整个向量,从而使融合特征处理的方式多样化,使最优分类模型的可选择性增多。最后,将当前流行的文本分类模型与XLCBG模型进行了比较实验。实验结果表明:XLCBG-S模型在中文THUCNews数据集上分类性能优于其他模型;XLCBG-Ap模型在英文AG News数据集上分类性能优于其他模型;在英文20NewsGroups数据集上,XLCBG-Att模型在准确率、召回率指标上均优于其他模型,XLCBG-Mp模型在精准率、F1指标上均优于其他模型。

来源：2023年第5期

《山东大学学报(理学版)》期刊编辑部

查看山东大学学报(理学版)杂志2023年第5期