AAAIJan, 2021

自我监督的语义转移：单语词嵌入任务的模拟学习方法

PDF
TL;DR本文提出了一种自监督的方法，通过在输入语料库中引入单词向量的扰动来生成训练样本，用于模拟词汇语义变化，以及通过任何对齐方法检测语义变化并选择基准词，具有很大的改进潜力，并在三种不同数据集上进行实验结果展示。
lexical semantic changeself-supervised approachalignment methodword vectorsexperimental results
发现论文，激发创造
  • 基于嵌入的无监督词汇语义变化检测

    本研究介绍了称为 EmbLexChange 的系统，用于无监督检测词汇 - 语义变化的过程，并展示了该系统在使用重采样框架的情况下可靠地检测英语、德语、瑞典语和拉丁语的词汇 - 语义变化。

    May, 2020

  • 基于代替的语义变化检测使用上下文嵌入

    使用上下文嵌入测量语义变化的简化方法，仅依赖于最可能替代被遮盖术语的方法，不仅这种方法可直接解释，而且在存储效率、性能及变化细致调查方面均表现优越。

    Sep, 2023

  • SemEval-2020 任务 1：无监督词汇语义变化检测

    第一项共享任务的结果，提供了评估框架和高质量的英语，德语，拉丁语和瑞典语手动注释数据集，解决了词汇语义变化检测领域中评估问题的压力，并吸引了 33 个团队提交了 186 个系统。

    Jul, 2020

  • 一种高效的自监督跨视角句子嵌入训练

    我们提出了一种称为自监督跨视图训练（SCT）的框架，以缩小大型和小型预训练语言模型（PLM）之间性能差距，并在 7 个语义文本相似性（STS）基准测试中通过与 5 个基准和最先进的竞争对手的比较，在参数数量从 4M 到 340M 范围内的 5 个 PLMs 上证明 STC 在 21 个案例中的 18 个中胜过竞争对手，对于参数少于 100M 的 PLMs 表现出色。

    Nov, 2023

  • UWB 在 SemEval-2020 任务 1 中的词汇语义变化检测

    本文介绍我们在 SemEval2020 任务 1 中创造性的提出了语义变化检测方法，该方法是全自动的，不需要人工干预，且独立于语言；我们利用标准相关分析和正交变换计算语义空间之间的线性变换，并通过比较早期和晚期语料库中目标单词的向量之间的余弦相似度来检测语义变化。

    Nov, 2020

  • 上下文化语言模型用于语义变化检测：经验教训

    本文研究使用基于上下文嵌入方法进行检测历时语义变化的可能存在的输出错误。通过引入单一方法并进行深入的分析，作者发现这种方法可能会将词汇的词典含义变化与上下文语境的变化混淆，同时将词汇实体的句法和语义方面合并在一起。本文提出了一些解决这些问题的未来可能方案。

    Aug, 2022

  • 无监督的跨语言词向量空间转移

    本文提出了一种基于无监督学习的算法，通过分布匹配和最小化回译损失来优化两种语言单词嵌入空间之间的转换函数，使用神经网络计算 Sinkhorn 距离评估性能并在跨语言词汇相似度预测和双语词汇归纳等任务中具有强大的性能。

    Sep, 2018

  • SST-BERT 在 SemEval-2020 Task 1 中的应用：基于 BERT 嵌入空间的语义漂移追踪

    本文讨论了关于词汇语义变化检测的方法，并提出了使用基于 BERT 的上下文化嵌入来对每个目标词的不同出现之间进行聚类，从而量化每个目标词的语义变化水平的方法，并在四种目标语言中取得了良好的表现，超过了所有提供的 SemEval 基线。

    Oct, 2020

  • 交换与预测 - 通过上下文交换预测语义变化跨语料库中的词汇

    使用预训练的遮蔽语言模型（MLM）中获取的具有上下文的词嵌入来表示在两个不同的文本语料中给定目标词 w 的含义，并通过上下文交换方法准确预测了四种语言（英语，德语，瑞典语和拉丁语）以及不同时间跨度下（超过 50 年和约 5 年）词义的语义变化。

    Oct, 2023

  • 超越离线映射：通过上下文锚定学习跨语言词向量

    本研究提出了一种基于弱监督（仅有相同单词列表）的方法，通过固定目标语言的嵌入并学习与之对齐的源语言的嵌入来解决不同语言的单词嵌入相似性不一致的问题，并在双语词表归纳和 XNLI 任务上取得了较好的结果，相比于传统的映射方法表现更好。

    Dec, 2020