Apr, 2019

通过跨度提取实现统一的问答、文本分类、和回归

PDF
TL;DR本论文的研究表明，使用统一的 span extraction 方法可以在多个任务中取得优越或可比的性能，而不必采用不同的输出层（如 span decoder 和 fixed-class classification layers 等）来适应不同的任务，这可应用在多种领域，如预训练语言编码、少数据学习和多任务学习等。
发现论文，激发创造
  • 一种简单有效的多跨度问题回答模型

    本文提出了一种新方法，通过将阅读理解中的多串问题视为序列标注问题，使得模型不再局限于输出单一连续结果，而是可以输出多个分散的结果，实验结果在 DROP 和 Quoref 数据集上分别提升了 9.9 和 5.5 个 EM 点。

    Sep, 2019

  • 加强语言表示以利用标签知识进行提取

    本研究提出了一种新的模型来加强文本表达，进而实现信息提取中的 span extraction 任务，并在三个任务，flat NER、nested NER、event detection 中达到了最佳表现，显著减少了训练和推理时间。

    Nov, 2021

  • 学习循环跨度表示与摘要式问答

    本文针对 SQuAD 数据集所提出的答案抽取任务，通过循环网络有效地构建了证据文档中所有跨度的固定长度表示，证明对显式跨度表示进行评分显著优于其他方法，并在 Wang＆Jiang（2016）的最佳已发布结果上提高了 5％，并且将 Rajpurkar 等人的基线误差减小了 50％以上。

    Nov, 2016

  • 文本跨任务跨度表示的分析

    本文通过对六种跨度表示方法和八个预训练语言模型在六个任务中的综合实证评估，发现即使有些简单跨度表示在多个任务中相对可靠，但一般来说最优跨度表示方法因任务而异，也可能因不同任务的不同方面而异。同时，我们还发现，与精细调整的编码器相比，跨度表示的选择对于预先训练的编码器具有更大的影响。

    Jun, 2020

  • 基于跨度关系表示的自然语言分析泛化

    本文提出一种基于标记跨度和跨度之间关系的统一格式的思想，成功应用于语法、语义、信息内容，情感等多种自然语言处理任务，其结构化的方法能将不同任务转化为相同的格式，同时得到较高的性能表现，并提出多任务学习的优势。最后作者将各数据转换为统一格式来建立一个基准测试，提供了一个综合的测试平台，用于评估未来模型对于通用自然语言处理的表现。

    Nov, 2019

  • 利用自动单一或多段答案提取的活动报告分析

    本文提出了一个基于 RoBERTa 的多跨度问题回答（MSEQA）模型，可以在针对某个问题和上下文的情况下返回适当的答案跨度。

    Sep, 2022

  • 利用预训练语言模型生成通用文本嵌入以实现可扩展推断

    研究使用共享文本编码器实现多任务推理以及使用二进制量化减少数据存储大小的方法，证明预训练的编码器在多个任务上表现的泛化性好。

    Apr, 2020

  • 基于预训练生成模型的问题回答适应性

    本文介绍了一种新颖的方法，利用预训练的生成模型来解决抽取式問答任务，通过生成与回答的上下文标记或句子相对应的索引，实现了在多个抽取式問答数据集上优于现有 state-of-the-art 模型的卓越性能。

    Nov, 2023

  • UnifiedQA：通过单一的 QA 系统跨越格式界限

    该论文介绍了一种基于最新的语言建模技术构建的单一预训练问答模型 UnifiedQA，该模型在 17 个问题回答数据集中表现出色，甚至在面对 12 个观察过的格式数据集时也表现出了强大的泛化能力，并且该模型通过简单的微调就可以成为构建 QA 系统的强有力起点。

    May, 2020

  • Split-NER：基于两个问题 - 回答分类的命名实体识别

    我们通过将 NER 问题分成两个逻辑子任务来解决，即 Span Detection 和 Span Classification，进一步将两个子任务形式化为问答问题，使用两个较为简洁的模型针对每个子任务进行优化。与 OntoNotes5.0、WNUT17 和一个网络安全数据集的基准模型相比，我们的系统 SplitNER 表现出色，并且在 BioNLP13CG 数据集上取得了相当的性能，同时与 QA 基准模型相比，训练时间显著减少。我们的系统的有效性来自对 BERT 模型进行两次微调，分别用于 span detection 和 classification。该研究代码可在给定的 https URL 上找到。

    Oct, 2023