Oct, 2018

数据到文本自然语言生成的序列到序列模型：基于单词 vs 字符的处理和输出多样性

PDF
TL;DR比较基于单词和字符的序列到序列模型在数据到文本自然语言生成方面的表现，进一步分析了两者输入表示之间的差异和生成文本的差异性，并通过对模板产生的合成训练数据的控制性实验展示神经模型学习新组合模板的能力。
发现论文，激发创造
  • 基于字符的数据到文本生成的复制机制和定制训练

    本篇论文提出了一种基于字符的端到端序列 - to - 序列模型，具有注意力机制、不需要词汇处理，以及包含常规生成机制和复制输入事实以产生输出的复制机制，同时提出了一个新的数据集 E2E+，并表明该模型在五个常用度量标准下的性能逊于基于字符和基于词汇的方法。

    Apr, 2019

  • 基于字符的神经机器翻译

    本研究介绍了一种基于字符级别表示的神经机器翻译模型，该模型使用注意力机制实现从字符级别到单词级别的翻译，并具有一定的词形识别与生成能力。

    Nov, 2015

  • 为句子校正调整序列模型

    对序列到序列方法进行的纠错实验中发现，基于字符的模型通常比基于单词的模型和通过卷积编码子单词信息的模型更有效，并且将输出数据建模为一系列差异可提高效果，而我们最强的序列到序列模型比最强的基于短语的统计机器翻译模型在数据相同的情况下得分提高了 6 M2 点（0.5 GLEU）。此外，在标准 CoNLL-2014 设置的数据环境中，我们证明了建模（并调整）差异可以使用更简单的模型和 / 或比以前的序列到序列方法少得多的数据获得类似或更好的 M2 得分。

    Jul, 2017

  • 利用字符和词向量与序列到序列模型进行文本规范化

    使用字符级别的注意力和事先训练好的子 / 词级别的嵌入向神经网络提供更多语言学信息，而不需要大量的平行语料库，从而帮助神经网络在标准阿拉伯语语言纠错共享任务数据集上实现最先进的 F1 分数。

    Sep, 2018

  • 数据到文本生成的端到端内容和计划选择

    本文介绍了多种扩展序列 - 序列模型的方法，旨在解决从结构化数据中生成流畅自然语言的问题，特别关注潜在内容选择过程的变体，包括复制注意力和覆盖解码。我们提出了一种基于多样集成的训练方法，以鼓励模型在训练过程中学习不同的句子模板，并通过比较其生成的文本在五个自动度量标准和人类评估中的结果，表明这些技术可以提高生成文本的质量。

    Oct, 2018

  • 用于字形到音素转换的序列到序列神经网络模型

    本文研究了基于具有副条件语言模型的生成的序列到序列翻译方法在不同类型任务中的适用性，包括有限词汇的 grapheme-to-phoneme 任务，并探讨了双向 LSTM 神经网络在这种方法中应用的优势。

    May, 2015

  • 数据文档生成的挑战

    研究采用新颖的数据生成文本的方式，对当前的文本生成方法进行了探究，并通过提出一系列抽取性评估方法和使用当前神经生成方法得到基线结果。实验结果表明，这些模型产生流畅的文本，但未能令人信服地近似人类生成的文档，甚至模板化的基线方法在某些指标上超过了这些神经模型，尽管复制和重构扩展会导致明显的改进。

    Jul, 2017

  • 序列到序列模型的神经摘要文本概括

    本研究从网络结构、训练策略和摘要生成算法三个方面全面综述了不同的 seq2seq 模型用于文本摘要生成的研究，并提出了一个名为 NATS 的开源工具包进行研究，对 CNN / Daily Mail 数据集进行了广泛的实验检验，在 Newsroom 和 Bytecup 数据集上测试了两个模型。

    Dec, 2018

  • 标记我的词：一种序列到序列的定义建模方法

    本文将定义建模任务作为一种序列到序列（sequence-to-sequence）的任务，使用基于 Transformer 的模型训练上下文匹配和定义生成，取得了最优结果。

    Nov, 2019

  • 序列到序列 -- 视频到文本

    该文章介绍了一种基于序列到序列模型和 LSTM 的视频描述方法，利用时间结构，将视频帧序列与单词序列相关联来生成视频描述，同时该模型能够学习视频帧的时间结构和所生成句子的语言模型。

    May, 2015