EMNLPOct, 2023

Seq2seq 对于共指解析的全部需求

PDF
TL;DR本研究中，我们证明 task-specific 模型并非必需，通过微调预训练的 seq2seq transformer，将输入文档映射为编码指示共指标注的标记序列，我们的模型在多个数据集上表现优于或接近文献中最佳的共指系统。我们还提出了一种特别简单的 seq2seq 方法，仅生成标记的范围而不包含原始文本。我们的分析表明模型大小、监督数量和序列表示的选择是性能的关键因素。
coreference resolutiontask-specific modelsseq2seq transformermodel sizesupervision
发现论文，激发创造
  • 基于 Seq2Seq 转移系统的指代消解

    本文提出一种基于文本到文本 (seq2seq) 模式的指代消解系统，它使用转移系统来预测提及和链接，使用多语言 T5 作为底层语言模型，在 CoNLL-2012 数据集上获得了 83.3 的 F1-score，远高于之前的最优结果；在 SemEval-2010 数据集上进行了零次训练、少次训练和有监督训练，对于所有五种测试语言，超过之前的最优结果。

    Nov, 2022

  • 无需跨度表示的共指消解

    本篇论文介绍了一种轻量级端到端的共指消解模型，该模型不再需要手工特性和启发式算法，也省去了动态构建范围和范围对表示所需的内存，相比当前标准模型具有更简单和高效的特点。

    Jan, 2021

  • 端到端神经共指消解

    本文介绍了第一个端到端的共指消解模型，并展示了它在不使用句法分析器或手工制作的提及检测器的情况下，明显优于所有以前的工作。模型的关键思想是直接将文档中的所有跨度作为可能的提及，并学习每个可能的先行词的分布。模型计算跨度嵌入，将依赖于上下文的边界表示与定位注意机制相结合。它被训练成最大化核对聚类中的黄金先行跨度的边际可能性，并分解以便于对可能存在的提及进行积极修剪。实验表明，尽管这是第一个成功训练不使用外部资源的方法，它仍可以在 OntoNotes 基准测试上获得 1.5 F1 分数的增益，并使用 5 个模型集合获得 3.1 F1 分数的提升。

    Jul, 2017

  • 序列跨文档指代消解

    本文提出一种将有效的顺序预测范例用于跨文档指代消解的新模型，通过增量式将提及点组合成集群表征，并预测提及点与已构建的集群之间的链接，近似高阶模型，既成为实体和事件指代消解领域中具有竞争力的解决方案，也提供了不同输入和表示类型在对指代消解过程中的重要性的新见解。

    Apr, 2021

  • 端到端神经指代消解再探：一个简单且有效的基准线

    本文介绍了一个基于 Transformer 预训练语言模型的简单而有效的代替神经指代消解模型的 baseline，证明合理简化已有模型可以取得与复杂模型相媲美的性能表现。

    Jul, 2021

  • 序列转序列模型中更好的解码和语言模型集成

    该研究分析了一个基于注意力机制的序列到序列语音识别系统，提出了解决其预测过于自信和产生不完整转录的问题的实用解决方案，并在没有语言模型的情况下，其词错误率为 10.6％，与 trigram 语言模型一起达到了 6.7％的词错误率。

    Dec, 2016

  • 基于查询的跨度预测的指代消解

    本文对实体语义的问题提出一个可扩展且高准确率的解决方法，利用生成的查询可以深入分析文本中的语义，进行连词识别，以此提高模型的泛化能力。

    Nov, 2019

  • 序列复制编辑

    本文针对神经序列到序列模型不能完全符合文本和代码编辑需求，提出了一种扩展模型，通过一次性在输出中复制整个输入来减少决策次数，并衍生一种新的训练目标和变种 beam search 算法来处理输出生成的多样性问题，在自然语言和源代码的一系列编辑任务中实验表明，该模型始终优于简单基线。

    Jun, 2020

  • 词级别指代消解

    在对比最近的指代消解模型，并针对文本中的字跨度和潜在联系过多的问题，提出通过单个词汇之间的指代联系，重新构建字跨度来减轻计算量并出色于以前的模型。新模型在 OntoNotes 基准测试中表现出与最近的模型相当的竞争力，且在效率上显著提高。

    Sep, 2021

  • 序列到序列学习作为 Beam-Search 优化

    该研究介绍了一种基于全局序列评分学习的 Sequence-to-Sequence (seq2seq) 模型和波束搜索训练方案，通过避免局部训练的传统偏差问题，统一训练损失和测试时间使用，并保留 seq2seq 的有效训练方法。在单词排序、解析和机器翻译三个不同的序列到序列任务中，该系统优于基于注意力的 seq2seq 系统高度优化的系统和其他基准线。

    Jun, 2016