该研究提出了一种基于概率的语言模型,可以跟踪个别单词随时间的语义演变,并通过嵌入空间中的潜在轨迹表示单词和上下文。研究发现,该动态模型推断的单词嵌入轨迹更易解释,并且具有更高的预测性可能性。
Feb, 2017
本文提出了动态词嵌入的概率框架,通过分析三个历史文本集合,证明了动态词嵌入提供比传统词嵌入更好地适应和更好地捕捉语言变化的有趣模式。
Mar, 2017
本文综述了当前关于使用预测型词嵌入模型追踪词汇语义时序变化和语义漂移检测的学术研究现状,并讨论了该领域的挑战和应用前景。
Jun, 2018
通过评估 PPMI,SVD 和 word2vec 等词嵌入模型来量化语义变化的方法,我们提出并验证了语义演化的两个定量化规律:与频率呈反幂律相关的语义变化率规律和与多义性无关的语义变化率规律。
May, 2016
本研究提出基于预训练语言模型的动态情境词向量,能够以语言和非语言环境为依据来表征单词的含义变化,并在四个英文数据集上做出定性和定量分析,以彰显其应用潜力。
Oct, 2020
本文旨在研究语义演变在文本数据中的检测与分析方法,特别是基于上下文嵌入的新方法,通过对比多个方法的表现以及提出相关改进策略,显著提高了现有方法的性能。
Jan, 2020
本文提出了一个统一动态嵌入模型,它能学习属性特定的单词嵌入,在历史语料库中调查了性别、种族和难民等方面的偏见。结果发现,动态嵌入模型与独立向量空间模型相比,在表示语言偏见方面更具优越性或更劣。
Apr, 2019
介绍了一种通过神经网络自行学习嵌入向量的方法 —— 动态元嵌入,该方法在同一模型类别下,在各种任务中实现了最先进的性能,并展示了该技术如何在 NLP 系统中应用嵌入向量。
Apr, 2018
本文提出了一种通过时间感知模板来学习动态上下文词嵌入的方法,实验结果表明该方法比当前最先进的动态上下文词嵌入方法表现更好。
Aug, 2022
该论文提出了一种用于动态图的时间感知变压器来嵌入顶点表示的方法,该方法使用时间边缘序列来维护异步结构演变,并在多个数据集上展示了其在图挖掘任务中的优越性能。
Jul, 2022