ACLOct, 2020

神经叙事生成的解码方法

PDF
TL;DR应用和评估近期的解码方法， 进行神经叙事生成与神经回复生成任务的类比分析，并在多个标准上进行自动和人工评估，结果表明，核采样阈值位于 0.7 到 0.9 之间，最大互信息目标可以提高生成的故事质量，而自动度量标准与人类对叙事质量的所有定性指标均没有相关性。
narrative generationnlpneural response generationgpt-2automatic and human evaluation
发现论文，激发创造
  • 神经文本退化的好奇案例

    本研究发现人类文本和机器生成文本的分布存在差异，在相同的神经语言模型下使用不同的解码策略可以显著影响文本质量，提出了一种基于动态核心采样的方法来提高生成文本的多样性和流畅性。

    Apr, 2019

  • 自然语言生成中的多样性与质量的权衡

    将解码算法视为多目标优化问题，旨在同时最大化回应质量和多样性。当多样性是一个优先考虑的因素时，所有方法表现相似，但当质量被视为更重要时，近期提出的核采样 (nucleus sampling) 优于所有其他评估的解码算法。在这一发现的基础上，我们设计并评估了一种名为 “选择性抽样” 的算法，该算法可以近似全局归一化温度抽样。

    Apr, 2020

  • 神经文本生成器的解码策略

    该研究对语言生成任务和解码策略之间的相互作用进行了全面分析，测量了生成文本属性随着解码策略和任务的变化情况，并使用人工和自动评估发现了之前观察到的和令人惊讶的结果，如语言生成中的多样性与质量之间的平衡是非常特定于任务的，而模式搜索方法如光束搜索在机器翻译中表现出色，但在故事生成中会导致不连贯和重复的文本。

    Mar, 2022

  • 分层神经故事生成

    该研究探讨了故事生成：创作系统可以在一个主题上构建连贯流畅的文本段落，使用一个大规模的数据集，通过分层式故事生成模型，研究人员成功地实现了模型融合，引入了新的门控多尺度自注意机制，并在自动化和人工评估中实现了显著的改进。

    May, 2018

  • 给定对语言生成系统的黑盒访问权限后的逆向工程解码策略

    我们通过反向工程解码方法，发现了文本生成时所使用的解码策略（例如 top-$k$ 或核心采样），这对于检测生成文本具有重要意义，并可揭示选择解码设置时造成的偏倚问题。我们对多种开源语言模型家族和生产系统（如 ChatGPT）进行了攻击。

    Sep, 2023

  • 神经响应生成中的输出风格和主题控制

    本文提出了神经编码器 - 解码器的语言生成模型中对输出风格和主题进行干预的简单灵活的训练和解码方法，通过基于选择性采样的解码方法和遵循性模型将神经生成过程分解为易于实现的子问题，同时通过一定限制方式和主题限制进行生成，该方法在人机交互任务中的表现不会降低输出质量。

    Sep, 2017

  • 神经文本生成的对比框架

    提出了一个新的基于对比学习的方法 ——SimCTG，和一个解码方法 —— 对比搜索，用于提高文本生成质量。在两种语言的三个基准测试上，我们的方法在人类和自动评估指标方面均显著优于当前最先进的文本生成方法。

    Feb, 2022

  • 神经文本生成的显式句法指导

    我们提出了一种基于句法树的语法引导生成模式，通过解码过程的两个部分:（1）对给定源句子中词汇化的句法上下文中的每个成分预测填充文本；（2）映射和扩展每个成分以构建下一级语法上下文以生成自然语言文本，并在重述生成和机器翻译上进行了实验。与自回归基线相比，该方法在有效性和可解释性方面更加出色。

    Jun, 2023

  • 通过语言模式的分层解码实现自然语言生成

    介绍了一种基于语言模式的分层解码自然语言生成模型，与传统的基于 RNN 和 seq2seq 的编码器 - 解码器模型相比，该模型表现更好且模型规模更小。

    Aug, 2018

  • 基于独立短句序列的故事生成

    本论文提出并解决了通过两种文本生成范例 —— 统计机器翻译和深度学习，生成连贯故事的任务。使用两种 SMT 方法和一个深度 RNN 架构，将可变长度的输入描述编码为对应的潜在表示，并解码以生成形式完备的故事总结。在一个公开数据集上，利用常见的机器翻译和总结评估方法证明了所建议方法的有效性。

    Jul, 2017