Mar, 2024

MP2D: 自动话题转移对话生成框架利用知识图谱

PDF
TL;DR虽然在话题对话系统方面取得了很大进展，但如何有效地在对话中处理话题转换仍然是一个持久的挑战。本研究提出了 Multi-Passage to Dialogue (MP2D) 框架，该框架通过自动生成自然话题转换的对话问答数据集来解决这个问题。通过利用知识图谱中实体之间的关系，MP2D 能够映射对话中的话题流程，有效地模拟人类对话的动态过程。它通过将与话题相关的段落转换为对话形式，将其转化为对话。通过定量和定性实验证明了 MP2D 在生成具有自然话题转换的对话方面的有效性。此外，本研究还引入了一个新的话题转换对话基准，TS-WikiDialog。通过利用该数据集，我们展示了即使是大型语言模型（LLMs）也难以有效处理对话中的话题转换，并展示了使用 MP2D 生成的数据集训练模型在不同话题转换对话任务中的性能提升。
发现论文，激发创造
  • q2d：从问题到对话，训练模型学习搜索

    该论文介绍了一种自动生成基于搜索查询的对话数据的机器学习方法，通过使用大型语言模型生成问题回答数据集，学习如何与外部搜索 API 通信，以生成具有上下文的搜索查询，从而改善对话系统的回答效果。

    Apr, 2023

  • 基于主题感知的多回合对话理解

    该研究提出了一种从主题感知的角度对多轮对话进行建模，使用对话切分算法将对话段落无监督地拆分为主题集中的片段，并将这些片段作为主题感知的语言处理单元用于进一步的对话理解。通过在聚类系统中设计自训练自编码器，并构建两个构造的数据集进行评估，我们展示了拆分段落在域内主题检测和定位方面的便利性。同时，拆分段落也是多轮对话响应选择的适当元素，为此，我们提出了 Topic-Aware Dual-Attention Matching (TADAM) 网络模型，它以主题片段作为处理元素，并使用双交叉注意力匹配响应候选项。通过对三个公共基准测试的实证研究，我们发现相对于基准，该模型取得了显著的改进。该研究延续了先前的文档主题研究，并通过详尽的实验和分析将对话建模引入了新的主题感知视角。

    Sep, 2023

  • 使用对话自我博弈，一夜之间构建一个交流代理人

    提出了基于自动化和众包的 Machines Talking To Machines (M2M) 框架，可用于创建面向目标对话的端到端对话代理，该框架可适应特定任务，并能够收集更多不同领域内的对话流，并维持对话时的自然度，同时，提供了一个新的对话语料库，包含 3000 次对话，涵盖了 2 个领域，与流行的对话数据集进行了比较。

    Jan, 2018

  • 知识感知图增强的 GPT-2 用于对话状态跟踪

    本文介绍了一种新的混合架构，将 GPT-2 与来自 Graph Attention Networks 的表示相结合，以实现逐步预测插槽值，并捕获跨域的插槽之间的关系和依赖关系，以提高多域会话跟踪的性能。该模型通过图模块捕获插槽之间的相互依赖性并提高了跨多个域常见的值的预测。

    Apr, 2021

  • 多粒度提示在对话中的话题转移检测

    通过提示式方法从对话中多层次提取主题信息，可以有效地识别对话主题的变化与多样性，且实验结果显示该方法优于现有方法。

    May, 2023

  • 以任务为导向的对话系统作为自然语言生成

    本文提出了一种基于大规模预训练模型（如 GPT-2）的任务驱动对话系统纯自然语言生成任务，以简化复杂的词语替换处理，但是直接使用会遇到对话实体不一致性和预训练模型精调时的灾难性遗忘问题，因此我们设计了一种新的 GPT-Adapter-CopyNet 网络，它将轻量级 adapter 和 CopyNet 模块融入 GPT-2，以实现更好的迁移学习和对话实体生成，而且实验结果表明，我们的方法在自动和人类评估方面的性能显著优于基线模型。

    Aug, 2021

  • 主题感知多轮对话建模

    本文提出了一种新颖的基于主题感知的无监督多轮对话建模方案，该方案通过无监督的主题感知分割算法和主题感知双交互匹配网络实现，在多个公共数据集上的实验结果表明 TADAM 可以胜过现有的最新方法，尤其是在出现明显主题转移的电子商务数据集上提高了 3.3％。

    Sep, 2020

  • CET2: 模拟主题转换以实现连贯和引人入胜的基于知识的对话

    基于对话上下文和选定的外部知识生成一致且吸引人的响应的知识驱动对话系统，引入了一种具有连贯性和吸引力的主题转换（CET2）框架，以模拟选择与对话上下文一致且提供充足的主题发展知识的主题转换。CET2 框架考虑了多个因素，包括从对话上下文到下一个主题的有效转换逻辑和可用知识候选项之间的系统比较。在两个公共基准测试上的广泛实验表明，CET2 在知识选择方面具有更好的优势和更好的泛化能力。精细粒度知识选择准确性的分析还表明，CET2 可以在对话中更好地平衡主题蕴含（上下文连贯性）和发展（知识多样性），优于现有方法。

    Mar, 2024

  • 面向对话人工智能的统一预训练框架

    本文探讨了 PLATO-2 在各种对话系统中的应用，包括开放域对话、知识基础对话和任务导向对话，并通过参与 DSTC9 的多项任务的综合评估证实其在各种对话系统中的有效性。

    May, 2021

  • 基于预训练语言模型的任务导向对话系统研究 —— 以 GPT-2 为例

    本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制，并提出了一种基于 TransferTransfo 和生成模型预训练的对话模型，并在 MultiWOZ 数据集上进行了验证，结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题，进而支持构建更具吸引力和更流畅的任务导向的对话代理人。

    Jul, 2019