EMNLPSep, 2017

神经响应生成中的输出风格和主题控制

PDF
TL;DR本文提出了神经编码器 - 解码器的语言生成模型中对输出风格和主题进行干预的简单灵活的训练和解码方法，通过基于选择性采样的解码方法和遵循性模型将神经生成过程分解为易于实现的子问题，同时通过一定限制方式和主题限制进行生成，该方法在人机交互任务中的表现不会降低输出质量。
neural encoder-decoderlanguage generationtraining methodsdecoding methodsstyle and topic restriction
发现论文，激发创造
  • 用神经自然语言生成器控制基于个性的风格变化

    本文探讨了自然语言生成在任务导向对话中的应用，提出了三种序列到序列模型，并考虑如何实现内容和风格的分离，通过控制 36 个风格参数，实现对语义和风格的高度还原。

    May, 2018

  • 神经文本生成的句子级内容规划和风格规范

    通过端到端训练的两步生成模型，即首先由句子级内容规划器决定涵盖的关键词组和所需的语言风格，然后由表面实现解码器生成相关和连贯的文本，可以显著优于现有竞争模型，在 Reddit 的说服性论证、维基百科的正常和简单版本的段落生成以及科学文章的摘要生成等任务中得到验证。

    Sep, 2019

  • 神经个性化响应生成作为域适应

    本文提出了一种基于序列到序列学习的个性化响应生成方法，使用初始化和适应两个阶段，模拟人的响应风格并生成个性化的响应，使用人工评估的方法进行模型评估。结果表明该方法可以很好地模拟人类的响应风格并生成个性化响应。

    Jan, 2017

  • 利用自动会话评估器实现连贯和引人入胜的口语对话响应生成

    本研究提出一个评估聊天机器人响应的系统，利用明确的反馈机制改进神经响应图生成模型，从而获得更具连续性和参与度的响应。

    Apr, 2019

  • 用于引导生成式大型语言模型的风格向量

    本研究通过在文本生成过程中向隐藏层的激活添加风格向量，探索将大型语言模型 (LLMs) 的输出引导到特定风格 (如情感、情绪或写作风格) 的策略。通过一系列实验，我们展示了使用这种风格向量进行激活工程对生成文本的风格产生影响的有效性和可调节性，使其与提示工程相区别，从而促进了更具适应性和有效性的 AI 增强交互系统的发展。

    Feb, 2024

  • 基于模式引导的自然语言生成的风格控制

    本研究着重于架构引导的自然语言生成中的风格控制和评估，旨在同时实现语义和风格控制，通过条件训练、引导微调和引导解码等各种控制生成方法的实验来评估其优缺点，并用广泛的自动和人工评估指标来评估，结果表明，使用判别器引导解码更适合处理风格较为语义复杂的任务，同时这种方法也更加可扩展，效果更好。

    Sep, 2021

  • 最近邻语言模型用于风格可控生成

    本文构建并评估了一种基于外部记忆的语言建模方法，利用政治正确、正式性和毒性等属性进行样式控制，结果显示基于样式专用数据存储器的生成性能得到了提高，但仍需在未来的工作中探索预训练数据和特定样式的效果。

    Oct, 2022

  • 在 NLG 中最大化风格控制和语义准确性：个性变化和话语对比

    本研究旨在探索神经生成法如何同时实现语义准确度和文体控制，在两个文体基准任务中，通过在译码器中进行文体调节，消除先前模型中使用的语义再排序器，从而实现了语义误差降至接近零，并在 Personality 中实现了超过 15 个 BLEU 分数的巨大性能提升。在控制对比中还实现了从 0.75 到 0.81 的提升以及语义误差从 16% 降至 2%。

    Jul, 2019

  • 神经语言生成中的语言风格控制

    该研究通过基于条件 RNN 语言模型的方法，控制生成文本的内容和文体风格，并以电影评论领域为例，成功生成了与所需语言风格和内容相一致的连贯句子。

    Jul, 2017

  • 文本生成的神经模板学习

    本文介绍了一种使用隐藏半马尔科夫模型（HSMM）解码器学习潜在的离散模板以及生成的神经生成系统，展示了该模型学习到有用的模板，从而使生成过程更具可解释性和可控性，并且在真实数据集上的表现与编码器 - 解码器文本生成模型接近。

    Aug, 2018