Jan, 2022

从沙子中筛选更多的金子：利用有噪声的自我检索生成优化开放域对话训练

HTML
PDF
TL;DR通过引入BERTScore提高证据质量，构建retrieval-generation训练框架，利用信息丰富但杂乱无章的对话数据，能使模型生成更好的响应，甚至比扩大培训集带来更好的性能提升。
发现论文，激发创造
  • 基于预训练Transformer自然语言模型的开放领域对话生成的实证研究

    本研究使用预训练模式和微调模式对基于Transformer的语言模型进行实证研究，探讨其在开放域对话生成任务中的性能表现和多样性，发现各种变形策略对生成结果都有不同程度的影响。

    Mar, 2020

  • 对话回复生成的多参考训练

    该研究工作研究了如何构造多参考训练数据和使用具有表达性先验的 LGM 模型来提高对话模型的生成多对多关系的能力。

    Sep, 2020

  • 从语义潜空间生成对话回复

    本研究针对现有开放领域对话生成模型无法合理组织多个语义相近的回复而导致生成通用、无信息量的回答的问题，提出在潜在空间上进行回归任务的代替方案，通过学习提示和回答之间的成对关系，使语义相关的句子在潜在空间上靠近。人类评估表明，在连续空间上学习任务可以生成相关且信息丰富的回复。

    Oct, 2020

  • 预训练语言模型是否可应用于基础开放领域对话？

    通过使用预训练语言模型，我们尝试研究知识相关对话生成的相关性，发现在使用仅包含少量知识对话的细调过程中，预训练语言模型可以超越需要外部知识的最先进的模型，在自动评估和人类判断方面表现更好。

    Nov, 2020

  • 超越短时记忆：长期开放领域对话

    该研究探讨了长期对话设置中的开放领域对话模型表现问题，并创建多个对话会话的数据集来研究长文本模型，发现召回前期对话历史的检索增强方法和概述方法胜过标准编码解码架构，成为更好的选择。

    Jul, 2021

  • 社交媒体语境下的对话模型建立方法

    本文介绍了一种通过模仿社交媒体上的非正式互动改善系统的原始会话能力的方法，并利用Reddit上的过滤评论数据作为seq2seq生成器的额外上下文，以提高开放域对话系统的能力。

    Jun, 2022

  • 多任务学习在开放域对话系统中的实证研究

    研究使用辅助任务对自回归模型进行改进，提高其在开放域对话生成中的长期语境处理和一致性维护，结果在小型和中型的GPT-2模型上表明引入新的辅助任务虽然有所改进，但仍有发展空间。

    Apr, 2023

  • 通过学习上下文和回应之间的模式信息来推动开放域对话生成

    本文介绍了一种基于预训练语言模型（GPT-2）的开放域对话模型，通过学习训练样本中上下文和回复之间的隐式模式信息，改进了生成回复的质量。我们提出了改进的预训练模型的定期抽样方法，并设计了一种回复感知机制，使生成的回复更加多样化和接近人类回复。通过在Persona-Chat和DailyDialog数据集上对所提出的模型（RAD）进行评估，实验结果表明我们的模型在大多数自动和手动评估指标上优于基线模型。

    Sep, 2023

  • 一个面向开放领域对话生成的知识即插即用测试平台

    构建基于知识的开放领域对话生成技术旨在利用挖掘的知识与人类进行闲聊。本文提出了一个高质量的多源对话知识选择和生成评估基准，名为multi-source Wizard of Wikipedia（Ms.WoW），用于评估多源对话知识选择和生成。与现有数据集不同的是，它包含了清晰的支持知识，以话语为单位分成多个知识来源。我们进一步提出了一个新挑战，即对话知识即插即用，旨在以零-shot的方式测试已经训练好的对话模型在使用未见过的新知识来源时的能力。

    Mar, 2024

  • 低资源多领域对话生成的统一数据增强框架

    我们提出了一种用于多领域对话生成的新型数据增强框架AMD2G，它由数据增强过程和两阶段训练方法组成，域无关训练旨在使模型学习共同的表达模式，然后通过域自适应训练来调整学到的域无关特征到目标域。实验证明，与直接在目标域语料上训练和在所有五个域上进行集合训练相比，AMD2G能够在五个不同领域的中文对话数据集上取得更优异的性能。

    Jun, 2024