ACLMar, 2016

将复制机制纳入序列生成式学习中

PDF
TL;DR本研究提出了一种名为 CopyNet 的神经网络模型，集成了新的复制机制，可选择性地将输入序列中的子序列放置在输出序列的适当位置，对于文本摘要等任务表现更佳。
sequence-to-sequence learningcopyingneural networkencoder-decodertext summarization
发现论文，激发创造
  • 顺序复制网络

    本文提出了一种新的复制框架 SeqCopyNet，它不仅能够复制单个单词，还能够从输入句子中复制序列，实验证明 SeqCopyNet 在句子摘要和问题生成方面表现出色。

    Jul, 2018

  • 对于改写句子的联合复制和受限生成

    本篇论文开发了一种新的 Seq2Seq 模型，该模型将一个复制解码器和一个受限生成解码器融合在一起，并利用一个预测器来预测复制或重写的模式以确定最终输出，在两个不同的复述数据集上进行广泛的实验，结果表明我们的模型在信息量和语言质量方面均优于现有的最先进方法。

    Nov, 2016

  • 采用重新阅读和复制机制的高效摘要生成

    本文提出了一种新的 encoder-decoder 模型来解决 NLP 中的 sequence to sequence prediction 任务，新模型考虑了整个输入序列并引入复制机制来有效处理小样本集和 OOV 问题。在 Gigaword 数据集和 DUC 竞赛中，该模型的性能超过了现有模型。

    Nov, 2016

  • 序列复制编辑

    本文针对神经序列到序列模型不能完全符合文本和代码编辑需求，提出了一种扩展模型，通过一次性在输出中复制整个输入来减少决策次数，并衍生一种新的训练目标和变种 beam search 算法来处理输出生成的多样性问题，在自然语言和源代码的一系列编辑任务中实验表明，该模型始终优于简单基线。

    Jun, 2020

  • 基于字符的数据到文本生成的复制机制和定制训练

    本篇论文提出了一种基于字符的端到端序列 - to - 序列模型，具有注意力机制、不需要词汇处理，以及包含常规生成机制和复制输入事实以产生输出的复制机制，同时提出了一个新的数据集 E2E+，并表明该模型在五个常用度量标准下的性能逊于基于字符和基于词汇的方法。

    Apr, 2019

  • CopyNext: 序列到序列模型中的显式跨度复制和对齐

    提出了一种具有显式令牌级别复制操作的模型，通过引入整个 span 的拷贝，提供了硬对齐的输入和输出间令牌间隔信息，可应用于信息提取等非传统 seq2seq 任务中，并在 Nested Named Entity Recognition 任务上取得了最先进的结果。

    Oct, 2020

  • Cseq2seq: 循环序列到序列学习

    本文提出循环序列到序列学习（Cseq2seq）来解决传统序列到序列学习（seq2seq）在编码源序列时无法处理源序列和目标序列结构一一对应的问题，并通过实验证明 Cseq2seq 实现了显著和稳定的性能提升。

    Jul, 2016

  • 基于深度强化学习的序列到序列模型

    本文介绍最近相结合的 seq2seq，深度神经网络和加强学习模型，考虑如何在决策制定的 RL 方法中利用序列到序列模型的长期记忆能力来解决复杂的问题，提出并探讨 RL 方法解决序列到序列模型领域常见的曝光偏差而且在训练与测试的指标上也不一致的两个问题，并提供了大多数 RL 模型的源代码以支持抽象文本摘要的复杂任务。

    May, 2018

  • BioCopy：Seq2Seq 模型中即插即用的跨度复制机制

    本文介绍了一种名为 BioCopy 的插件式机制，通过在训练和推理阶段引入 BIO 标记和各种掩码策略提升了神经 seq2seq 框架下的输出准确性和生成任务的效果。

    Sep, 2021

  • 基于复制增强的序列到序列模型在任务型对话中表现良好

    本篇论文采用潜在神经嵌入状态和学习选择性关注，以及复制上下文等技术，对话系统可以不依赖于显式的用户意图和信念状态而实现特定领域用户对话。它证明了简单的序列到序列神经网络结构与复制机制的有效性，并在每次对话回应生成方面比更复杂的记忆增强模型高出 7％，达到了 DSTC2 的最新水平。

    Jan, 2017