山东大学学报(理学版)杂志

山东大学学报(理学版)杂志2024年第7期

• 基于自监督的预训练在推荐系统中的研究

  杨纪元,马沐阳,任鹏杰,陈竹敏,任昭春,辛鑫,蔡飞,马军

  近来涌现一批研究工作探讨如何将预训练技术应用在推荐场景下并构造预训练任务，以此提升最终的推荐性能。对现有的基于预训练的推荐模型研究进展进行重点综述；并对不同的预训练方法进行分类和比较，在3个推荐系统基准数据集上对一些代表性模型进行实验和分析，相关的数据集和代码已开源；最后对预训练的推荐模型的未来发展趋势进行总结和展望。

• 高维数据的降维与检索算法

  邵伟,朱高宇,于雷,郭嘉丰

  目前大多研究通过一些降维方法将高维向量转化为低维向量表示，再应用相关向量检索优化技术实现快速相似性检索，从而提高大模型应用表现。当前针对高维数据的降维方法繁多分散，在不同的研究背景下所采用的降维方法不尽相同，同样地，在向量检索技术上也存在大量不同的检索思路与优化方法。通过综述近期的降维和检索算法的主要思路及其优化方法，有助于产生二者之间的启发性联系，支撑后续高维向量检索优化算法研究的展开和深入。

• 基于矩阵乘积算符表示的序列化推荐模型

  刘沛羽,姚博文,高泽峰,赵鑫

  推荐系统中的序列化推荐任务面临着高度复杂和多样性大的挑战, 基于序列化数据的商品表示学习中广泛采用预训练和微调的方法，现有方法通常忽略了在新领域中模型微调可能会遇到的欠拟合和过拟合问题。为了应对这一问题，构建一种基于矩阵乘积算符(matrix product operator, MPO)表示的神经网络结构，并实现2种灵活的微调策略。首先，通过仅更新部分参数的轻量化微调策略，有效地缓解微调过程中的过拟合问题；其次，通过增加可微调参数的过参数化微调策略，有力地应对微调中的欠拟合问题。经过实验验证，该方法在现有开源数据集上均实现显著的性能提升，充分展示在实现通用的物品表示问题上的有效性。

• 一种基于核心论元的篇章级事件抽取方法

  孙承杰,李宗蔚,单丽莉,林磊

  提出一种基于核心论元的篇章级事件抽取选取方法(core arguments-based document level event extraction, CA-DocEE)，该方法根据论元在篇章级事件中的分布特点定义核心论元的选取标准，采用异质图卷积神经网络将篇章上下文信息用于增强论元实体编码，基于机器阅读理解方法捕捉句子中的深层次语义信息来进行论元角色分类。在篇章级事件抽取公开数据集上，本文提出的方法的微平均F1值达到了80.1%，取得了与目前已知最好方法相当的效果。

• 融合多重特征的噪声网络对齐方法

  咸宁,范意兴,廉涛,郭嘉丰

  针对网络对齐任务中网络结构差异大和锚节点对噪声大的问题，提出一种基于多轮迭代的网络对齐方法。该方法在每轮迭代时使用多种启发式方法计算不同维度的节点特征，利用多重特征的组合来评估锚节点的可靠性，过滤其中潜在的噪声，增强每轮对齐过程的置信度; 使用图神经网络增强无属性节点之间的一致性，减轻网络结构差异带来的影响。实验结果表明, 该方法可以在高噪声的情况下具有高准确率，验证了其有效性。

• 基于动态邻居选择的知识图谱事实错误检测方法

  桂梁,徐遥,何世柱,张元哲,刘康,赵军

  由于知识图谱(knowledge graph, KG)的构建和更新通常依赖大量网络数据和自动化方法，因此其中建模和获取的知识内容难免存在各种事实错误。为了解决这个问题，提出一种新知识图谱事实错误检测方法。该方法动态选择待检测事实的邻居节点，通过捕捉头尾实体之间的复杂关系来判断事实是否存在错误。首先利用图结构信息确定每个实体的潜在邻居; 然后根据实体的上下文信息动态地选择相关邻居，进而使用高效的图注意力网络编码节点的特性; 最终通过计算节点的头尾实体表示的一致性，判断待检测事实是否存在错误, 并在多个公开的知识图谱数据集上进行实验。结果表明, 该方法在错误检测方面表现优于现有的方法。

• 面向图神经网络表征学习的类别知识探针

  黄兴宇,赵明宇,吕子钰

  针对图神经网络(graph neural network, GNN)模型缺乏相应的探针这一问题，提出面向图神经网络表征学习的知识探测框架，基于不同领域数据的类别属性设计2种类别感知的知识探针，分别为聚类探针和对比聚类探针。2种探针分别探测不同模型的表征效果并给出相应的分数。在引用网络、社交网络和生物网络等3个邻域的8个数据集上，对7个经典的图神经网络模型的表征学习实现了系统性地知识探测和评估实验，归纳出探测和评估结论。

• 面向排序学习的概率分布优化模型

  赵峰叙,王健,林原,林鸿飞

  现有的排序学习模型依赖于模型输出的评分来表示文档间的偏序关系。考虑到这种将评分看作单一数值的限制，提出一种概率分布排序学习模型优化方法，引入排序分数的不确定性，以概率分布的形式对排序分数进行平滑，进而将排序分数大小的比较变成对分数偏序关系的概率估计。在此基础上，将该方法应用于排序学习模型RankNet、LambdaRank以及LambdaMART，更合理地拟合模型概率与目标概率之间的差距，从而对排序学习模型进行优化, 并在多个大规模真实数据集上进行实验。结果表明, 经过优化后的模型性能相比于优化前具有显著提高，验证本文方法的有效性。

• 基于聚类和群组归一化的多模态对话情绪识别

  罗奇,苟刚

  相似情绪类别识别混乱导致识别效果下降的问题一直是多模态情绪识别任务的一大挑战。针对此问题, 提出一个基于聚类群组归一化的关系图神经网络模型方法。首先使用3个不同特征提取器提取出3种模态特征, 并融入说话者编码后进行拼接, 既丰富特征表示又保留原始信息; 其次使用Transformer提取上下文信息; 最后将特征节点输入关系图卷积神经网络后, 通过对节点进行聚类分组, 并独立地进行群组归一化, 使相似节点更加相似, 缓解相似情绪容易识别混乱的问题。通过实验验证, 提出的网络模型在IEMOCAP数据集四分类上的F1值可达到86.34%, 验证该方法的有效性, 并且目前该模型达到IEMOCAP数据集的最佳性能。

• 基于提示学习的电信网络诈骗案件分类方法

  纪杰,孙承杰,单丽莉,尚伯乐,林磊

  针对电信诈骗案件自动分类技术进行研究，制定基于情境分析的电信网络诈骗分类体系，实现案件文本去标识化隐私保护方法，提出一种基于提示学习的电信网络诈骗案件分类方法，实验结果显示该方法在本文构建的数据集上准确率、F1值等指标均高于基于BERT的分类方法1%~2%。

• 基于医疗知识驱动的中文疾病文本分类模型

  黎超,廖薇

  本文提出一种基于医疗知识驱动的中文疾病文本分类模型。首先，通过引入外部医疗知识图谱中的结构化知识，得到知识增强的疾病文本向量表示；其次，使用双向长短期记忆网络和卷积神经网络分别提取疾病文本的全局语义特征和局部语义特征，同时，联合注意力机制提高模型对有效特征信息提取的效率；最后，将提取到的特征进行拼接融合，并利用分类器输出分类结果。在中文疾病文本数据集上的实验结果表明，所提模型分类的精确率、召回率和精确率和召回率的调和均值F1值分别可达95.21%、95.64%和95.42%，与其他模型相比具有更优的分类效果。