山东大学学报(理学版)

作者：李万理,唐婧尧,薛云,胡晓晖,张涛

单位：1.华南师范大学物理与电信工程学院, 广东 广州 510006;2.广东省数据科学工程技术研究中心, 广东 广州 510006;3.广东中建普联科技股份有限公司, 广东 广州 510640

关键词：点互信息,词向量,GloVe,

基金：全国统计科学研究资助项目(2016LY98);广东省科技计划资助项目(2016A010101020,2016A010101021,2016A010101022);深圳市科创委基础研究资助项目(JCYJ20160527172144272);广东省数据科学工程技术研究中心课题(2016KF09,2016KFl0);广东科学技术职业学院科研项目(XJSC2016206);广州市科技计划资助项目(201802010033)

提出了一种基于点互信息的全局词向量训练模型。该模型为了避免GloVe词向量模型中使用条件概率刻画词语关系时所产生的缺点,使用了另一种相关信息——联合概率与边际概率乘积的比值——来刻画词语间的关系。为了验证模型的有效性,在相同条件下,利用GloVe模型和我们的模型训练词向量,然后使用这2种词向量分别进行了word analogy以及similarity的实验。实验表明,模型的准确率在word analogy的Semantic问题中比GloVe模型表现更好,分别在100维、200维、300维的词向量实验中,准确率提升了10.50%、4.43%、1.02%,而在similarity的实验中,模型准确率提升也达5%~6%。结果表明,模型可以更有效地捕捉词语的语义。

来源：2019年第7期

《山东大学学报(理学版)》期刊编辑部

查看山东大学学报(理学版)杂志2019年第7期