EMNLPOct, 2022

一个带有实体记忆的统一编码器 - 解码器框架

PDF
TL;DR在这篇论文中，我们提出了一种基于实体记忆的编码器 - 解码器框架，名为 EDMem，将实体知识以潜在表示的形式存储在内存中，与编码器 - 解码器参数一起在维基百科上进行预训练。通过设计三种解码方法来约束实体生成，并在各种实体密集型问答和生成任务中使用。实验证明，EDMem 优于基于记忆的自动编码器模型和非记忆编码器 - 解码器模型。
发现论文，激发创造
  • 基于融合实例解码的实体消歧

    提出了一种编码器 - 解码器模型来消除实体歧义，通过更详细的实体描述来改进基准性能，取得了强大而稳健的性能，尤其在 ZELDA 基准上比 GENRE 提高了 +1.5%，并在 GERBIL 基准的全流程实体链接中比 EntQA 提高了 +1.5%。

    Apr, 2024

  • 为生成式语言模型进行知情命名实体识别解码

    提出了一种简单而有效的方法，Informed Named Entity Recognition Decoding (iNERD)，将命名实体识别视为一种生成过程，利用近期生成模型的语言理解能力，并采用了基于信息提取的有限文本生成的解码方案，以提高性能和消除幻觉风险，我们在合并的命名实体语料库上训练了模型，评估了五个生成语言模型在八个命名实体识别数据集上的表现，并取得了显著的结果，特别是在未知实体类别集的环境中，展示了该方法的适应性。

    Aug, 2023

  • 神经语言模型中的动态实体表示

    该研究提出了一种名为 EntityNLM 的新型语言模型，可显式建模实体，动态更新其表示，并在特定的上下文中生成其提及。该模型在语言建模、指代消解和实体预测等多个不同任务中表现出色。

    Aug, 2017

  • 变分记忆编码器 - 解码器

    本文介绍了通过使用外部记忆的混合模型 —— 变分记忆编码器 - 解码器（VMED），在保持一致性的同时引入变异的方法来生成对话中的话语。在各种对话数据集上的实验证明，VMED 在指标和素质评估方面均取得了显著的改进。

    Jul, 2018

  • 为实体检索学习密集表示

    使用双编码器模型，在相同的密集向量空间中对实体和提及进行编码，并通过近似最近邻搜索检索候选实体，从而实现实体链接。通过使用维基百科中的锚文本链接训练双编码器，该方法优于离散别名表和 BM25 基线，并且与标准 TACKBP-2010 数据集中最佳结果相当，还可以快速检索候选者，并可以很好地推广到从 Wikinews 推导出的新数据集。在建模方面，我们演示了无监督的负采矿算法在这一任务中的重要作用。

    Sep, 2019

  • 自回归实体检索

    GENRE 是第一个通过自回归方式逐个 token 生成实体名称以检索实体的系统，此方法可以在自动编码器中直接捕捉上下文和实体名称之间的关系，从而减少内存占用并提高检索效率。

    Oct, 2020

  • 提及记忆：通过实体提及注意力将文本知识融入 Transformers

    该论文提出了一种利用 Transformer 模型中的半参数表示以及文本语料库的 “指向记忆” 来提取多个文本来源的事实信息的方法，称为 TOME，并在多个实验中证明其在自然语言理解任务中的优异表现。

    Oct, 2021

  • 基于实体监督的稀疏记忆访问

    使用实体作为专家的具有记忆分离能力的新模型（EAE），能够捕获文本中实体的声明性知识，比具有 10 倍参数的编码 - 生成变压器模型的性能更好，并比类似大小的 BERT 和以前整合外部实体知识的方法具有更多的事实知识。

    Apr, 2020

  • BED：用于规范关系抽取的双编码器 - 解码器模型

    本研究提出了一种新的框架，Bi-Encoder-Decoder (BED)，用于解决规范化关系提取中的实体信息利用、新实体表示、性能提升等问题。实验结果表明，该方法在两个数据集上性能显著优于之前的最优方法，并能够良好处理新实体而无需重新训练。

    Dec, 2023

  • 叙事生成中实体使用的连贯和一致性探索

    本文系统地研究了预训练语言模型在故事生成任务中维持实体连贯性和一致性方面的能力，并提出了动态实体记忆的增强方法，旨在使用辅助实体相关性损失来指导读写实体记忆，以提高实体连贯性和一致性，同时还验证了自动评价指标与人工评价的相似度，从而提出的自动评价指标可以作为生成故事质量的良好指标。

    Feb, 2022