Nov, 2022

PLATO-K: 内部和外部知识增强对话生成

PDF
TL;DR本研究基于两个阶段的对话学习引入了 PLATO-K，以加强内部知识记忆和外部知识利用， extensive experiments 显示 PLATO-K 的总体吸引力在闲聊和知识密集型对话方面显著提高了 36.2％和 49.2％，这缓解了 PLATO-K 的知识问题。
发现论文，激发创造
  • PLATO-2: 通过课程学习构建开放域聊天机器人

    使用 PLATO-2 和课程学习的有效训练过程构建高质量的开放域聊天机器人，该过程涉及两个阶段的学习，第一阶段训练粗糙生成模型来学习响应生成，在细糙的生成模型和评估模型的指导下继续训练来生成多样的响应并选出最佳响应，PLATO-2 在中英文数据上得到了验证和优越性验证，达到了最新的卓越结果。

    Jun, 2020

  • 面向对话人工智能的统一预训练框架

    本文探讨了 PLATO-2 在各种对话系统中的应用，包括开放域对话、知识基础对话和任务导向对话，并通过参与 DSTC9 的多项任务的综合评估证实其在各种对话系统中的有效性。

    May, 2021

  • 神经会话生成的词汇知识内化

    通过内部化知识的方式，将词汇知识融入神经对话模型中，以应对因词汇知识规模庞大而带来的挑战，并采用对比学习方法创建了一个基于弱监督自 Wikipedia 挖掘的有效的标记级别的词汇知识检索器，证明了该方法在各种数据集和多元化模型结构上的有效性和普适性。

    May, 2022

  • Persona-Knowledge 对话多上下文检索和增强解码方法

    本文通过设计一种数据增强策略，运用神经问答检索模型，探讨了 Persona-Knowledge 的识别和响应生成任务，采用不同的解码技术进行对话生成，最终取得了 93.99% 的平均重合度和 23.62 分的 SacreBLEU 分数，成为当前 SOTA 的最佳实践。

    Jul, 2022

  • PLATO-XL: 探索对话生成的大规模预训练

    采用统一 transformer 架构和多方知觉预训练，PLATO-XL 超越其他方法在社交媒体上进行中英文闲聊，同时在基于知识的对话和任务导向的会话等多个会话任务上获得令人满意的结果，证实其作为会话人工智能的基础模型的潜力。

    Sep, 2021

  • 对话中事实知识的终身交互学习

    本文提出了一种连续和交互式学习知识引擎（CILK），以帮助对话系统在对话过程中不断地学习和推断出新知识，从而增强其回答问题的能力。经实证评估表明，CILK 具有良好的应用前景。

    Jul, 2019

  • 基于统一知识表示的知识驱动对话生成

    PLUG 是一个预训练的语言模型，可以将异构知识源同化为一个统一的知识表示，从而提高知识引导型对话生成任务的泛化能力。该模型可以通过少量的训练样本实现不同下游知识引导型对话生成任务的泛化，且在零样本和少样本场景中表现显著优异。

    Dec, 2021

  • 智能友好的对话代理：基于知识和角色认知的应用

    本论文提出了一种有效的对话代理，同时考虑外部知识和个性，通过检索增强生成和知识个性增强查询来生成话语，实现了更少幻觉和更有吸引力的对话，在自动指标上的基于个性和知识的对话任务达到了最先进的性能，同时，通过人类评估和定性结果证明了模型对话的幻觉和吸引力，验证了检索的有效性。

    Jan, 2023

  • 多层自适应对比学习在对话生成中的知识内化

    通过使用外部知识补充上下文，知识感知对话生成旨在减轻文本退化问题，然而，模型经常无法以人类方式将这些信息内化为响应，而仅简单地将所提供的知识片段插入到通用响应中，导致生成的响应往往乏味、不连贯且缺乏互动性，这意味着退化问题仍未解决。在这项工作中，我们首先发现，这种复制式退化主要是由于弱似然目标，这使得模型可以通过仅基于重叠的表面模式匹配来 “欺骗” 这个目标而复制知识片段。为了克服这一挑战，我们提出一种多级自适应对比学习（MACL）框架，该框架动态采样负例，并随后在令牌级别和序列级别上惩罚退化行为。广泛的实验验证了我们的方法在 WoW 数据集上的有效性以及在各种预训练模型上的适用性。

    Oct, 2023

  • 先理性再回应：知识注入对话模块化生成

    本文提出了一个模块化的知识转换模型（K2R）来将知识纳入对话体系，通过将这一问题分解为两个简单的步骤来解决对该问题的挑战。在详细实验中，我们发现这种模型在与知识相关的对话任务中幻觉较少，并且具有解释性和模块化方面的优势。

    Nov, 2021