Aug, 2019

为新十年打下基础：使用 BERT 进行序列标注、句法和语义分析

PDF
TL;DR本研究采用最新的语境化嵌入框架 BERT，为词性标注、句法分析和语义分析三个任务提出了最新的技术模型，并在 12 个英文和中文数据集上进行了实验，结果表明 BERT 模型在这三项任务中均优于当前最佳模型平均 2.5％（最显着的情况下是 7.5％），并提供了关于 BERT 嵌入影响的深入分析。
bertpart-of-speech taggingsyntactic parsingsemantic parsingcontextualized embedding
发现论文，激发创造
  • 简单的 BERT 模型用于关系抽取和语义角色标注

    本文介绍基于 BERT 的模型在关系抽取和语义角色标注中的应用。实验结果表明，在不使用任何外部特征的情况下，这种简单的模型可以达到最先进的性能表现，提供了未来研究的强有力基础。

    Apr, 2019

  • BERT 上语法信息编码的演进

    本文分析了 BERT 在六种不同的任务中精细调整过程中所嵌入的句法树随着调整而演变的情况，结果表明编码的语法信息在不同任务的精细调整过程中被遗忘（词性标注）、强化（依存句法和组成成句）或保留（语义相关任务）。

    Jan, 2021

  • 使用基于 Transformer 的神经模型提升越南文本序列标注

    本文介绍了使用多语言 BERT 嵌入和一些新的神经模型，提高越南语序列标记任务的研究。我们提出了新的模型架构，在 VLSP 2016 和 VLSP 2018 两个命名实体识别数据集和 VLSP 2010 和 VLSP 2013 两个词性标记数据集上进行了广泛评估。我们的方法优于现有方法，并实现了新的最先进结果。

    Jun, 2020

  • 利用 BERT 进行端到端方面情感分析

    本文探讨了预训练语言模型中上下文化嵌入的建模能力，并使用简单明了的神经基线处理端到端方面的情感分析任务。实验结果表明，即使使用简单的线性分类层，我们基于 BERT 的架构的性能也能超过最新的方法。此外，我们还使用保留验证数据集来标准化比较研究，这是之前的工作往往忽略的，因此，我们的工作可以作为 E2E-ABSA 的 BERT 基准。

    Oct, 2019

  • Phrase-BERT：基于 BERT 的短语嵌入改进及应用于语料库探索

    本文提出了一种对 BERT 进行微调的方法（Phrase-BERT），使其能够生成更强大的短语嵌入，Phrase-BERT 利用一个由短语描述形式多样的同义词集以及从 Books3 语料库中挖掘的大规模情境短语数据集生成模型，并在各种短语级相似性任务中优于基线。 此外，该文还将 Phrase-BERT 嵌入式与简单的自编码器相结合，构建了一种利用向量空间中最近邻搜索将主题解释为词和短语混合的短语主题模型。 众包评估表明，该短语主题模型比基线的单词和短语级主题模型产生更一致和有意义的主题，进一步验证了 Phrase-BERT 的效用。

    Sep, 2021

  • 语言理解的语义感知 BERT

    提出了一种改进的语言表示模型 Semantics-aware BERT，通过集成来自预训练语义角色标注的显式上下文语义，从而在十项阅读理解和语言推理任务中获得了新的最先进或实质性改进的结果，以促进自然语言理解。

    Sep, 2019

  • 基于元 - BiLSTM 模型的上下文敏感词元编码词性标注

    本研究探讨了将具有句子级上下文信息的递归神经网络用于初始化字符和单词级别的表示，并通过元模型进行同步训练来优化其性能，以实现词性标注和形态标记的最佳性能表现。

    May, 2018

  • BERT 用于指代消解的基线和分析

    本文利用 BERT 模型对共指消解问题进行了研究，结果表明利用 BERT 模型在 OntoNotes 和 GAP 基准上取得了显著提升。自行搭建模型的测试结果表明，相比 ELMo 和 BERT-base 模型，BERT-large 模型在区分相关实体上表现更好，但在建模文档上下文、对话以及提取意象的方面，还有进一步提高的空间。

    Aug, 2019

  • 任务导向语义解析中的 Transformer 诊断

    本文研究了 BART 和 XLM-R 两种目前最先进的基于 transformers 的任务导向语义解析模型在单语和多语境下的表现，实验证明它们不仅在消歧意图 / 槽方面有困难，而且在生成句法上有效的语义框架方面也遇到了问题，主要原因是在把句子片段抽取到框架中时存在歧义，导致语法无效。不过，该模型同时也为是否正确或不正确的语义框架给出了充足的指标，使得该模型可以轻松部署在生产环境中。

    May, 2021

  • SemEval-2017 任务 4: 使用 BERT 进行 Twitter 情感分析

    使用 BERT 模型对 SemEval2017 中 Twitter 上的英语情感分析任务 4A 进行解决，在训练数据量较小的分类任务中，BERT 是一个非常强大的大型语言模型。使用此模型进行实验时，我们使用了包含 12 个隐藏层的 BERT BASE 模型，该模型在准确性、精确率、召回率和 F1 分数上优于朴素贝叶斯基线模型，在二分类子任务中表现更好，我们还在实验过程中考虑了所有种类的伦理问题，因为 Twitter 数据包含个人和敏感信息。我们在此 GitHub 存储库中提供了实验中使用的数据集和代码。

    Jan, 2024