ACLJun, 2019

使用语境化单词嵌入对论点进行分类和聚类

PDF
TL;DR本研究使用 ELMo 和 BERT 作为最新的上下文化词嵌入方法，在开放领域的论据搜索中进行了实验。我们首次展示了如何利用上下文化词嵌入的能力，对主题相关的论据进行分类和聚类，并在多个数据集和任务中取得了令人印象深刻的结果。
contextualized word embeddingselmobertargument searchargument classification
发现论文，激发创造
  • 在 54 种语言中评估上下文嵌入在词性标注、词形还原和依存分析中的效果

    本文对三种最近提出的上下文嵌入方法进行了广泛评估，并在通用依赖关系 2.3 的 89 个语料库中的 54 种语言中，以词性标注，词形还原和依赖关系分析三个任务中使用 BERT，Flair 和 ELMo 作为预先训练的嵌入输入。

    Aug, 2019

  • 利用上下文嵌入增强临床概念抽取

    本研究旨在研究新的语言表示方法（如 ELMo，BERT）在医疗概念提取方面的应用，比较这些方法与传统词嵌入方法（word2vec，GloVe，fastText）的性能表现，并探讨将这些表示方法应用于医疗任务的可能性。研究结果表明，基于大型医学语料库的上下文嵌入方法表现出色，优于现有所有方法。此外，与传统词表示相比，上下文嵌入方法还包含有价值的语义信息。

    Feb, 2019

  • 利用领域预训练和神经网络增强法律论证挖掘

    本文对传统词嵌入模型与 BERT 模型在人权法庭裁决文本的法条分析任务中的表现进行了比较，实验证明领域特定的 BERT 模型有很大的潜力，而传统的词嵌入模型在与神经网络层结合后也能表现出很强的性能。

    Feb, 2022

  • 上下文嵌入概述调查

    该综述评估了现有的上下文嵌入模型，跨语言多语预训练，上下文嵌入在下游任务中的应用，模型压缩和分析。

    Mar, 2020

  • UiO-UvA 在 SemEval-2020 任务 1 中：用于词汇语义变化检测的上下文嵌入

    该研究应用上下文化词嵌入到 SemEval-2020 Shared Task 1 的词汇语义变化检测中，着重于子任务 2，在两种上下文化体系结构（BERT 和 ELMo）和三种变化检测算法方面，分析了其性能。我们发现，最有效的算法依赖于平均令牌嵌入之间的余弦相似度和令牌嵌入之间的成对距离。他们比强基线模型高出很大的差距，但是有趣的是，选择特定算法取决于测试集中金标准分数的分布。

    Apr, 2020

  • 神经主题建模优于聚类吗？基于语境嵌入的聚类主题实证研究

    本文研究利用高质量的句子表示和适当的词选择方法直接聚类句子表示的方法来生成更连贯和多样化的主题，相比于利用神经模型的方法有更高的效率和简洁性。

    Apr, 2022

  • 上下文化注意力嵌入的主题

    通过设计不同的探针实验，使用 BERT 和 DistilBERT，我们发现注意力框架在模拟主题词簇时发挥了关键作用，这为探讨概率主题模型和预训练语言模型之间的关系铺平了道路。

    Jan, 2023

  • 使用 BERT 和基于自注意机制的嵌入进行论点挖掘

    本文提出了一种新的论点挖掘方法，它采用基于注意力的嵌入进行链路预测，以模拟在线辩论中普遍存在的因果关系层次结构。

    Feb, 2023

  • 命名实体识别中的上下文嵌入：一项关于泛化的实证研究

    本文通过经验分析，将提到的未知名称根据新奇性和域外评估进行分离，并证明了最新情境嵌入模型在发现前所未见的名称方面特别有益，尤其是在域外评估中。

    Jan, 2020

  • SNU_IDS 参加 2018 年 SemEval 第 12 项任务：使用上下文向量的句子编码器进行论点推理理解

    本文提出了一种利用大型机器翻译数据集预训练的上下文化词向量作为迁移学习的简单神经网络模型，用于判断给定句子集合中逻辑是否合理并证明它是否真实。实验结果表明，相比于其他基线和非迁移模型，仅使用基于机器翻译的 LSTM 模型可以获得大约 70％和 60％ 的准确度。

    May, 2018