山东大学学报(理学版)

作者：郑承宇,王新,王婷,邓亚萍,尹甜甜

单位：云南民族大学数学与计算机科学学院, 云南 昆明 650500

关键词：ALBERT,TextCNN模型,多标签分类,医疗文本,

基金：国家自然科学基金资助项目(61363022);云南省教育厅科学研究基金资助项目(2021Y670)

针对现有Word2Vec和Glove等静态词向量表征方法无法解决文本完整语义的问题,结合ALBERT预训练语言模型和TextCNN卷积神经网络,提出一种用于多标签医疗文本分类的深层神经网络模型ALBERT-TextCNN。该模型采用ALBERT预训练语言模型进行动态字向量表示,通过其内部多层双向的Transfomer结构获取更高效的文本向量表达,并引入TextCNN卷积神经网络模型构造多标签分类器进行训练,提取不同抽象层次的语义信息特征。在中文健康问句数据集上进行算法性能测试,实验结果表明,该模型分类的整体F1值达到了90.5%,能有效提升医疗文本的多标签分类效果。

来源：2022年第4期

《山东大学学报(理学版)》期刊编辑部

查看山东大学学报(理学版)杂志2022年第4期