本文介绍了一种使用词嵌入模型跟踪词对之间语义关系的时间动态的方法,采用增量学习和预测建模,并在乌普萨拉武装冲突数据集上评估了该方法的可行性和效果。
Jul, 2017
本文综述了当前关于使用预测型词嵌入模型追踪词汇语义时序变化和语义漂移检测的学术研究现状,并讨论了该领域的挑战和应用前景。
Jun, 2018
该研究提出了一种基于概率的语言模型,可以跟踪个别单词随时间的语义演变,并通过嵌入空间中的潜在轨迹表示单词和上下文。研究发现,该动态模型推断的单词嵌入轨迹更易解释,并且具有更高的预测性可能性。
Feb, 2017
该研究通过发展一种动态统计模型学习时态感知的词向量表示,并实现了 “对齐问题” 的解决,从而可以可靠地捕捉时间上的语言演变,并在语义准确性和对齐质量方面持续优于现有的时间嵌入方法。
Mar, 2017
本文提出了一种通过时间感知模板来学习动态上下文词嵌入的方法,实验结果表明该方法比当前最先进的动态上下文词嵌入方法表现更好。
Aug, 2022
本研究使用连续词袋模型和注意力机制以及加入时间信息的方法进行医疗代码嵌入,实验结果表明该方法明显优于五种现有的基准模型。
我们提出了时间向量,这是一种在新的时期自定义语言模型的简单工具。时间向量通过在单个时间段(例如一年或一个月)的数据上对语言模型进行微调,然后减去原预训练模型的权重来创建。我们的实验结果表明,这个向量指定了在权重空间中的一个方向,在该时间段的文本上可以提高性能。在连续的时间段上定制的时间向量似乎在流形中靠得更近。利用这个结构,我们可以在时间向量之间插值,从而产生在介入和未来时间段上表现更好的新模型,而无需进行额外的训练。我们的研究结果表明,时间被编码在微调模型的权重空间中。
Dec, 2023
使用基于语料库的单词嵌入模型,处理词汇隐喻并生成一个有序候选诠释列表。该模型通过从依存解析语料库中自动提取主题(如 “时间”)和载体(如 “金钱”)组件的搭配来获取候选的含义,并通过语义向量空间来衡量候选诠释与隐喻组件之间的相似度。最后,聚类算法去除了语义相关的重复诠释,从而使其他候选诠释具有更高的排名。在不同的语义标注数据集上进行评估,取得了令人鼓舞的初步结果。
Oct, 2020
本文提出了一个通用框架,用于支持使用单词嵌入进行跨语料库的语言研究,其中可以比较从不同语料库生成的嵌入项,以找出语料库之间的含义对应和差异。该框架的核心组件是 CADE,重点解决了从不同语料库生成的嵌入项的对齐问题。经过实验,结果表明 CADE 在时间词嵌入,语言本地化和主题分析等各个领域都达到了最先进或更优异的性能。
Apr, 2020
本文提出了一种新的方法,通过从 BERT 嵌入生成特定时间的单词表示来利用上下文嵌入进行历时语义变化检测。我们的实验结果表明,该方法在特定领域的 LiverpoolFC 语料库中具有与当前最先进技术相当的性能,无需在大型语料库上进行任何耗时的领域自适应。我们的结果表明该方法可以成功地用于检测短期年度语义漂移,并在多语言环境中展示了有前途的结果。
Dec, 2019