ACLMay, 2021

基于上下文化单词表示的动词意义聚类用于语义框架归纳

PDF
TL;DR本文研究了不同上下文环境下，有些动词引起的语义框架不同，以及如何利用 Contextualized word representations 识别这些不同的语义框架，同时探索哪些类型的表示适合用于语义框架的归纳。通过比较七种不同的 Contextualized word representations，特别是 BERT 和其变体，在 FrameNet 和 PropBank 等英语 Frame-semantic 资源方面进行了实验，表明，某些 Contextualized word representations 对于语义框架的归纳具有相当的信息量。此外，本文还考察了动词的上下文表示估算其所引起的语义框架数的程度。
contextualized word representationssemantic framesverbbertsemantic frame induction
发现论文，激发创造
  • 利用掩码词嵌入和两步聚类进行语义框架归纳

    本研究提出了使用掩码词嵌入和两步聚类的语义框架归纳方法，旨在克服使用基于聚类的方法与上下文嵌入时，对诱发框架动词的表面信息过于依赖和将同一动词的实例分成过多框架族群的问题，实验结果表明，该方法对于避免使用表面信息和改进相应的框架族群数量是有效的。

    May, 2021

  • 深度度量学习下的语义框架识别

    本文提出了一种通过深度度量学习来微调上下文嵌入模型，并将微调后的上下文嵌入应用于语义框架识别的模型，实验结果表明该方法可显著提高聚类评估分数，并且即使训练实例数量较少，也能取得较好效果。

    Apr, 2023

  • 使用上下文嵌入实现无监督框架诱导的 SemEval-2019 任务 2 中的 HHMM 模型

    我们提出了一种用于语义框架归纳的系统，它在 Subtask B.1 中表现最佳，在无监督语义帧归纳 SemEval 2019 任务 2 的 Subtask A 中名列亚军。我们的方法将该任务分为两个独立步骤：使用单词及其上下文嵌入进行动词聚类和通过将这些嵌入与句法特征相结合进行角色标注。这些步骤的简单组合显示出极具竞争力的结果，并且可以扩展到处理其他数据集和语言。

    May, 2019

  • 用语义类别探测量化单词表示的情境化

    通过研究 BERT 中的单词上下文含义的量化，我们展示了预训练语言模型如何解释单词在上下文中的重要性，结果显示顶层语义表示对于任务的推断非常准确，底层语义表示更具可转移性。

    Apr, 2020

  • 使用上下文化的单词表示来分析词汇语义的变化

    本文提出了第一种使用上下文词表示进行无监督词汇语义变化的方法。利用 BERT 神经语言模型来获取单词用法的表示，将这些表示聚类到用法类型，并用三种提出的度量方式衡量关于时间的变化。创造了一个新的评估数据集，并表明模型表示和检测到的语义转移与人类判断之间呈正相关。 extensive 的定性分析表明，我们的方法捕捉了各种同步和历时语言现象。我们期望我们的工作将激发进一步的研究。

    Apr, 2020

  • 单词和句子嵌入中的动词和论元结构转换

    通过研究基于人工神经网络编码的句子语境和词汇形态，本研究构建了五个数据集并测试了模型的可靠性，结果显示该方法对于某些动词变化是可行的，但对于其他动词变化则难以提取细粒度的字面信息。

    Nov, 2018

  • 上下文中的迷失？关于上下文化词向量的意义差异

    揭示了上下文化单词嵌入的一些特征，包括上下文中单词意思的变化程度，单词在不同上下文中的一致性，以及单词位置偏差的影响，并提出一种减轻这种偏差的简单方法。

    Aug, 2022

  • 学习句子表示的高效框架

    本文提出一种从未标记数据中学习句子表示的简单有效的框架，通过将句子出现的上下文预测问题重新表述为分类问题，并基于句子向量表示来区分上下文句子和对比句子，并在多个下游 NLP 任务中展示了高质量的句子表示的超越性能以及训练时间的数量级加速。

    Mar, 2018

  • 探究上下文词向量的句子结构学习

    研究比较四种最近的模型对句子结构的编码情况，发现语言模型和翻译模型训练出的模型对句法现象具有强大的表现，但对语义任务的改进相对较小。

    May, 2019

  • 使用语境化单词嵌入对论点进行分类和聚类

    本研究使用 ELMo 和 BERT 作为最新的上下文化词嵌入方法，在开放领域的论据搜索中进行了实验。我们首次展示了如何利用上下文化词嵌入的能力，对主题相关的论据进行分类和聚类，并在多个数据集和任务中取得了令人印象深刻的结果。

    Jun, 2019