Dec, 2019

利用语境嵌入检测历时语义转移

PDF
TL;DR本文提出了一种新的方法，通过从 BERT 嵌入生成特定时间的单词表示来利用上下文嵌入进行历时语义变化检测。我们的实验结果表明，该方法在特定领域的 LiverpoolFC 语料库中具有与当前最先进技术相当的性能，无需在大型语料库上进行任何耗时的领域自适应。我们的结果表明该方法可以成功地用于检测短期年度语义漂移，并在多语言环境中展示了有前途的结果。
diachronicsemantic shiftcontextual embeddingsbert embeddingsmultilingual
发现论文，激发创造
  • 历时词向量和语义漂移：一项调查

    本文综述了当前关于使用预测型词嵌入模型追踪词汇语义时序变化和语义漂移检测的学术研究现状，并讨论了该领域的挑战和应用前景。

    Jun, 2018

  • 上下文化语言模型用于语义变化检测：经验教训

    本文研究使用基于上下文嵌入方法进行检测历时语义变化的可能存在的输出错误。通过引入单一方法并进行深入的分析，作者发现这种方法可能会将词汇的词典含义变化与上下文语境的变化混淆，同时将词汇实体的句法和语义方面合并在一起。本文提出了一些解决这些问题的未来可能方案。

    Aug, 2022

  • 使用上下文化的单词表示来分析词汇语义的变化

    本文提出了第一种使用上下文词表示进行无监督词汇语义变化的方法。利用 BERT 神经语言模型来获取单词用法的表示，将这些表示聚类到用法类型，并用三种提出的度量方式衡量关于时间的变化。创造了一个新的评估数据集，并表明模型表示和检测到的语义转移与人类判断之间呈正相关。 extensive 的定性分析表明，我们的方法捕捉了各种同步和历时语言现象。我们期望我们的工作将激发进一步的研究。

    Apr, 2020

  • HistBERT：用于历时词汇语义分析的预训练语言模型

    研究历史语料库数据对语言模型 BERT 训练的影响，从而提出一种预先训练的基于 HistBERT 的语言模型，并比较它与原始 BERT 在单词相似度和语义转化分析方面的表现，该工作强调，上下文语言嵌入在历史语言分析中的效果取决于输入文本的时态特征，并应谨慎应用此方法来研究历史语义变化。

    Feb, 2022

  • UiO-UvA 在 SemEval-2020 任务 1 中：用于词汇语义变化检测的上下文嵌入

    该研究应用上下文化词嵌入到 SemEval-2020 Shared Task 1 的词汇语义变化检测中，着重于子任务 2，在两种上下文化体系结构（BERT 和 ELMo）和三种变化检测算法方面，分析了其性能。我们发现，最有效的算法依赖于平均令牌嵌入之间的余弦相似度和令牌嵌入之间的成对距离。他们比强基线模型高出很大的差距，但是有趣的是，选择特定算法取决于测试集中金标准分数的分布。

    Apr, 2020

  • 基于代替的语义变化检测使用上下文嵌入

    使用上下文嵌入测量语义变化的简化方法，仅依赖于最可能替代被遮盖术语的方法，不仅这种方法可直接解释，而且在存储效率、性能及变化细致调查方面均表现优越。

    Sep, 2023

  • SST-BERT 在 SemEval-2020 Task 1 中的应用：基于 BERT 嵌入空间的语义漂移追踪

    本文讨论了关于词汇语义变化检测的方法，并提出了使用基于 BERT 的上下文化嵌入来对每个目标词的不同出现之间进行聚类，从而量化每个目标词的语义变化水平的方法，并在四种目标语言中取得了良好的表现，超过了所有提供的 SemEval 基线。

    Oct, 2020

  • 利用词向量追踪俄语文化历时语义变化：测试集和基准

    介绍了手动注释的测试集，用于跟踪俄语中的历时语义转变，并通过分布式词嵌入模型来自动检测具有强烈或微妙社会和文化变化的名词和形容词词义，提供了实体间语义演变检测的算法和比分。

    May, 2019

  • 基于去文本化嵌入的无监督词汇替换

    本文采用预训练语言模型提出一种新的无监督词汇替换方法，通过根据单词在多个上下文中的平均上下文表示相似性来检索替代词，实验表明该方法在英语和意大利语上表现明显优于强基线，并且能够成功预测低频替代词且不受形态和句法中的词汇一致性的影响。

    Sep, 2022

  • 在词使用中捕获进化：只需增加更多聚类吗？

    本文旨在研究语义演变在文本数据中的检测与分析方法，特别是基于上下文嵌入的新方法，通过对比多个方法的表现以及提出相关改进策略，显著提高了现有方法的性能。

    Jan, 2020