ACLJul, 2019

SpanBERT：通过表示和预测跨度来提高预训练

PDF
TL;DR本论文提出了 SpanBERT 预训练方法，扩展了 BERT 的掩蔽方式和训练方式，使其在跨度选择和指代消解等任务中表现出比 BERT 和基线更优秀的性能，包括在 SQuAD、OntoNotes 和 TACRED 等各种基准测试上都取得了更好的结果。
spanbertpre-trainingbertspan selectioncoreference resolution
发现论文，激发创造
  • 问题回答的跨度选择预训练

    本篇论文提出了一种新的预训练模型 SSPT，即 Span Selection Pre-Training，通过将预训练模型任务转换为阅读理解，从而提高 BERT 及其他预训练模型的学习能力，实验证明该方法对于数据集有限的场景下表现尤为出色。

    Sep, 2019

  • 基于 Transformer 预训练的跨度联合实体和关系抽取

    本文介绍了一种轻量级的基于注意力机制的模型 SpERT，通过对 BERT 嵌入进行实体识别和过滤，以及基于标记的上下文表示进行关系分类，结合单 BERT 传递的高效负样例抽取方法，在多个数据集上取得了高于先前工作最高达 2.6% F1-score 的性能表现。

    Sep, 2019

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • 基于多语言 BERT 的跨语言跨度预测监督式词对齐方法

    本文提出了一种基于跨语言跨度预测的新型监督词对齐方法，使用基于多语言 BERT 的 SQuAD v2.0 风格问答任务解决了此问题，并在中英、日、德、罗、法等五个词对齐数据集上实验证明，该方法显著优于以前的监督和非监督方法，而无需使用双语语料进行预训练。

    Apr, 2020

  • 利用基于 BERT 的标记分类和跨度预测技术进行有毒跨度检测的 SemEval-2021 任务 5 的 NLRG

    该研究探讨了基于 BERT 的模型在 SemEval-2021 毒性跨度检测任务中的性能，研究了多种模型，包括 Token 分类或跨度预测，最佳模型达到 F1 得分 0.6753，在基线模型上提高了 3%。

    Feb, 2021

  • SPOT: 知识增强语言表示，用于信息提取

    我们提出了一种新的预训练模型，利用基于维基百科的知识图谱实现了在实体和关系上的双重表示，以及利用跨度模块进行有效编码，相较于现有模型使用更少的参数。实验结果表明，相比 RoBERTa 模型，我们模型在信息抽取任务上表现更好，尤其在监督学习任务中达到了很高的竞争水平。

    Aug, 2022

  • 文本跨任务跨度表示的分析

    本文通过对六种跨度表示方法和八个预训练语言模型在六个任务中的综合实证评估，发现即使有些简单跨度表示在多个任务中相对可靠，但一般来说最优跨度表示方法因任务而异，也可能因不同任务的不同方面而异。同时，我们还发现，与精细调整的编码器相比，跨度表示的选择对于预先训练的编码器具有更大的影响。

    Jun, 2020

  • 预训练跨度选择的少样本问题回答

    在几个问答基准测试中，经过 Fine-Tuning 后，预训练模型已经达到了与人类相当的水平。然而我们研究了更为现实的少样本情况，发现标准的模型表现不佳，由此突出了当前预训练目标与问答之间的差异。为此我们提出了一种新的问答针对性预训练方案：Recurring Span Selection，该方案非常适合处理具有多个重复区域的段落，并在提供的数据量很少的情况下在 SQuAD 的基准测试中取得了令人惊讶的高成绩（例如仅使用 128 个训练示例时即可获得 72.7 F1 的成绩），同时保持了在高资源设置下具有相当的性能。

    Jan, 2021

  • 使用基于跨度的动态卷积来改进 BERT 的 ConvBERT

    本文提出一种用于自然语言理解中的深度神经网络模型 ConvBERT，用于替换 BERT 中占用计算和存储的全局自我注意力块，以实现更高效的全局和局部语境学习，经实验证明，在各种下游任务中，ConvBERT 均能显著优于 BERT 及其变体，且训练成本更低。

    Aug, 2020

  • 教授预训练模型生成简单文本以进行文本简化

    本文探讨了一种新的持续性的预训练策略，通过把 BART 模型继续预训练来生成简单的文本，从而提高简化任务的表现，同时与其他大型语言模型进行了比较。

    May, 2023