山东大学学报(理学版)

作者：孙歆怡,郑婷婷,孙丽雯

单位：1.安徽大学数学科学学院, 安徽 合肥 230601;2.安徽大学大学数学教学中心, 安徽 合肥 230601

关键词：Transformer,霜冰优化算法,多尺度特征编码,可学习位置编码,注意力池化,

基金：国家自然科学基金资助项目(61806001)

为解决传统Transformer在长序列建模和计算效率的不足,本文提改进的Transformer模型,该模型在特征提取阶段引入多尺度卷积结构,通过并行卷积核在不同尺度上捕捉短期波动与长期趋势,增强对多层次时序模式的表征能力。随后,模型采用可学习的位置编码代替固定的正弦编码,更好地应对非平稳数据和不规则时间间隔问题。在全局依赖建模过程中,改进的编码器利用多头自注意力机制建立跨时间步的特征交互,动态分配时刻权重以聚焦关键片段,有效降低长序列建模的计算复杂度。Transformer模型还结合了霜冰优化算法(rime optimization algorithm, RIME)在高维超参数空间中进行高效搜索与优化,提升模型的收敛速度与泛化能力。实验在3个真实复杂数据集上进行,结果表明RIME-Transformer模型在多项指标上均优于主流方法研究结果,验证所提模型在复杂时序预测任务中的有效性与优越性。

来源：2026年第5期

《山东大学学报(理学版)》期刊编辑部

查看山东大学学报(理学版)杂志2026年第5期