山东大学学报(理学版)

作者：林原,张亚,于蒙,许侃,林鸿飞

单位：1.大连理工大学公共管理学院, 辽宁 大连 116024;2.大连理工大学电子信息与电气工程学部, 辽宁 大连 116024

关键词：大语言模型,仇恨检测,RoBERTa,预训练模型,RoBERTa-Attention-GRU-TextCNN,

基金：国家自然科学基金资助项目(61976036);国家社会科学基金资助项目(20BTQ074)

为准确检测和识别仇恨言论,通过微调大语言模型对数据集样本进行扩充与平衡,并基于预训练模型RoBERTa构建RoBERTa-Attention-GRU-TextCNN模型,将深度学习强大的特征捕获和提取能力应用到文本序列数据的分析、挖掘中。首先通过RoBERTa模型对文本数据进行特征提取;然后利用自注意机制获取单词间的依赖关系;最后将获取到的特征矩阵输入到GRU-TextCNN层中以捕捉更深层次的语义信息和局部特征。使用TweetEval提供的2个公开的数据集来评估模型效果,实验结果表明,该模型相较于传统的仇恨言论检测模型具有更好的检测效果。

来源：2026年第3期

《山东大学学报(理学版)》期刊编辑部

查看山东大学学报(理学版)杂志2026年第3期