ACLAug, 2020

GRIT: 文档级事件实体抽取的生成角色填充变换器

PDF
TL;DR使用生成式基于 Transformer 的编码器 - 解码器框架，以考虑文档级别上下文信息的方法来重新思考文档级别下的角色 - 实体抽取问题，并在 MUC-4 数据集上展示其优越性。
document-levelentity extractiontransformer-basedencoder-decodercoreference
发现论文，激发创造
  • 基于实体的文档级信息提取作为模板生成

    本文提出了一种基于生成式框架的文档级实体提取方法，该方法能够高效地捕获跨多实体的相关信息，使用了一种名为 TopK Copy 的交叉注意力引导复制机制，实验结果表明此方法达到了科技论文数据集上的新的最优结果。

    Sep, 2021

  • 生成表示指令调整

    通过生成性行为表示指导调整（GRIT）技术，我们训练了一个大型语言模型，通过区分生成和嵌入任务来同时处理两者，该模型在大规模文本嵌入基准（MTEB）上取得了最佳结果，并在多个生成性任务中超越同类模型。通过进一步扩展，我们的模型在仍属于最佳嵌入模型的同时，优于我们尝试过的所有公开生成性语言模型。此外，我们发现 GRIT 能够实现生成性或嵌入数据的训练，并且无需性能损失。

    Feb, 2024

  • 使用多粒度上下文编码的文档级事件角色填充物提取

    本文研究了文档级事件抽取中跨句子事件命名的问题，并提出了一种多粒度阅读器，用于动态汇集不同粒度的神经表示学习的信息。通过在 MUC-4 数据集上进行实验，表明本文提出的最佳系统的表现显著优于先前工作，并对上下文长度和神经模型性能之间的关系进行了分析。

    May, 2020

  • 全局表示增强的 Transformer 模型

    本文提出了一种在 Transformer 网络中显式地建模全局表示的新方法 —— 全局表示增强的 Transformer（GRET），并将其应用于机器翻译和文本摘要两个文本生成任务中，并通过实验证明其在自然语言生成方面的有效性。

    Feb, 2020

  • INSET: 使用 Inter-SEntential Transformer 进行句子填充

    本文提出了一个基于 BERT 和 GPT-2 的框架，通过将缺失句子生成任务拆分成三个方面的处理来解决此问题 —— 语义理解，篇章规划和生成，并在实验证明了我们的模型在学习句子表示和生成缺失句子方面的有效性。

    Nov, 2019

  • 基于模仿学习的迭代式文档级信息提取

    使用迭代抽取模型 IterX，将复杂关系或模板表示为 N 元组，应用于实现 SciREX 上的四元关系抽取和 MUC-4 上的模板抽取等任务，并取得了最新的研究结果。

    Oct, 2022

  • RetGen: 一个检索和基于生成式文本生成的联合框架模型

    通过联合训练基于语言模型信号的基于文档检索器的生成器及检索器来生成更具信息含量和相关性的文本。

    May, 2021

  • 关系抽取和分类的生成模型

    本文介绍了一个名为 GREC 的关系抽取和分类的生成模型，采用序列生成任务对关系进行建模，并探索了各种编码表示方法，提出了负采样和解码缩放技术，可实现一次性从句子中提取所有关系三元组，从而在三个基准关系抽取数据集上取得了最新的表现，虽然一次性处理比传统方法在效率上损失了一部分性能，但它更具计算效率。

    Feb, 2022

  • 大语言模型时代下关系抽取的再审视

    本文探讨了利用 GPT-3 和 Flan-T5 等大型语言模型来进行关系提取（RE）的问题，通过将关系线性化生成目标字符串的方法进行了序列到序列的任务处理，通过人工评估的方式，在不同程度的监督下评估了它们在标准 RE 任务中的表现，发现通过 GPT-3 进行的少量提示与现有完全监督模型大致相当，而使用 Chain-of-Thought 风格的解释进一步监督和微调后，该模型产生了最优结果。

    May, 2023

  • 基于生成强化的变压器的指令上下文增强方法

    利用人类反馈的强化学习从 PPO 出发，ICE-GRT 在特定领域任务中展示了出色的能力，同时保持了通用任务性能，在小型模型中表现了分析能力的下降。

    Jan, 2024