EMNLPOct, 2020

有限内存神经网络实现长文档指代消解

PDF
TL;DR本文提出了一种基于内存增强神经网络的长文档共指消解方法，通过仅跟踪少量数量的实体，保证了线性运行时间，并且在 OntoNotes 和 LitBank 数据集上表现优异，同时学习到一种优秀的内存管理策略。
发现论文，激发创造
  • 恒定内存下的增量神经指代消解

    使用上下文编码器和神经组件扩展增量聚类算法来模拟在固定内存约束下的关联消解，并对高性能模型进行了优化，以在 OntoNotes5.0 数据集上实现恒定空间的相对 F1 损失仅为 0.3%。

    Apr, 2020

  • 通过学习实体级分布式表示来提高共指消解

    通过使用神经网络和学习搜索算法，本研究提出了一种基于实体级信息的代指消解系统，其在 CoNLL 2012 共享任务数据集的英语和中文部分上，即使使用了很少的手工特征，也显著优于当前最先进的技术。

    Jun, 2016

  • 使用共指的多提及推理神经模型

    本文提出了一种针对 NLP 中需要汇总来自远处的同一实体的信息的情况的循环层，该层使用外部系统提取的指代注释连接属于同一簇的实体提及，并将其合并到最先进的阅读理解模型中，从而改善了 Wikihop、LAMBADA 和 bAbi 人工智能任务的性能，并且可在数据稀缺时获得大的收益。

    Apr, 2018

  • 参照读者：一种用于指代消解的循环实体网络

    本文提出了一种新的架构，用于存储和访问实体提及，在进行在线文本处理过程中，通过将记忆操作编码为可微分的门，可以通过使用监督语音解析目标以及辅助语言模型目标来对模型进行端对端的培训，并通过代词 - 名称照应的数据集评估，证明了在完全增量文本处理中具有强大的性能。

    Feb, 2019

  • 端到端神经共指消解

    本文介绍了第一个端到端的共指消解模型，并展示了它在不使用句法分析器或手工制作的提及检测器的情况下，明显优于所有以前的工作。模型的关键思想是直接将文档中的所有跨度作为可能的提及，并学习每个可能的先行词的分布。模型计算跨度嵌入，将依赖于上下文的边界表示与定位注意机制相结合。它被训练成最大化核对聚类中的黄金先行跨度的边际可能性，并分解以便于对可能存在的提及进行积极修剪。实验表明，尽管这是第一个成功训练不使用外部资源的方法，它仍可以在 OntoNotes 基准测试上获得 1.5 F1 分数的增益，并使用 5 个模型集合获得 3.1 F1 分数的提升。

    Jul, 2017

  • 句子级递增神经共指消解

    本文提出一种句子增量神经代词消解系统，成功地融合了两种最新的技术：非增量模型和内存网络模型，在 OntoNotes 和 CODI-CRAC 2021 中达到了更好的结果。

    May, 2023

  • 学习核链消解的全局特征

    使用循环神经网络直接学习实体群集的全局表示，尤其对于代词提及的预测特别有用，可以整合到端到端的指代系统中，不需要任何其他搜索，表现优于现有技术。

    Apr, 2016

  • 端到端神经指代消解再探：一个简单且有效的基准线

    本文介绍了一个基于 Transformer 预训练语言模型的简单而有效的代替神经指代消解模型的 baseline，证明合理简化已有模型可以取得与复杂模型相媲美的性能表现。

    Jul, 2021

  • 循环神经网络的语言知识作为记忆

    通过使用外部语言知识来作为 RNN 模型的显式信号，将文本序列图形化表示并进行无环子图分解，以实现 RNN 模型对长期依赖关系的建模，并应用于文本理解任务，实现新的 SOTA 效果。

    Mar, 2017

  • 无需跨度表示的共指消解

    本篇论文介绍了一种轻量级端到端的共指消解模型，该模型不再需要手工特性和启发式算法，也省去了动态构建范围和范围对表示所需的内存，相比当前标准模型具有更简单和高效的特点。

    Jan, 2021