基于 PLATO-2 的主题转换适应性日语对话系统

Feb, 2023

基于 PLATO-2 的主题转换适应性日语对话系统

Topic-switch adapted Japanese Dialogue System based on PLATO-2

Donghuo Zeng, Jianming Wu, Yanan Wang, Kazunori Matsumoto, Gen Hattori...

TL;DR我们使用直树形式的 165.6 万条来自新闻、电视字幕和维基百科语料库的数据集（即 Dialogue-Graph）来训练基于 PLATO-2 的大规模日语对话系统 PLATO-JDS。为了改进 PLATO-JDS 中的主题切换问题，我们引入了一个主题切换算法，其中包含一个主题判别器，以在用户输入与前一主题不同时切换到新的主题。通过使用人与机器人聊天策略评估我们的模型，涉及到一致性、信息性、吸引力和人性这四个指标，结果，我们提出的 PLATO-JDS 在 “与人工对话评估” 中获得了平均 1.500 的得分，接近 2.000 的最高得分，这表明了它在日语中具有高质量的对话生成能力。此外，我们提出的主题切换算法获得了平均 1.767 的得分，并优于 PLATO-JDS 0.267，表明它在改进系统用户体验方面的有效性。

Abstract

Large-scale open-domain dialogue systems such as plato-2 have achieved state-of-the-art scores in both English and Chinese. However, little work explores whether such dialogue systems also work well in the japanese

japanese dialogue system plato-2 topic switch user experience

发现论文，激发创造

面向对话人工智能的统一预训练框架

本文探讨了 PLATO-2 在各种对话系统中的应用，包括开放域对话、知识基础对话和任务导向对话，并通过参与 DSTC9 的多项任务的综合评估证实其在各种对话系统中的有效性。

May, 2021

PLATO-XL: 探索对话生成的大规模预训练

采用统一 transformer 架构和多方知觉预训练，PLATO-XL 超越其他方法在社交媒体上进行中英文闲聊，同时在基于知识的对话和任务导向的会话等多个会话任务上获得令人满意的结果，证实其作为会话人工智能的基础模型的潜力。

Sep, 2021

JMultiWOZ：一个大规模的多领域任务导向对话日语数据集

为了推动日语任务导向对话系统的研究和发展，本研究构建了 JMultiWOZ，这是第一个规模较大的多领域任务导向对话数据集。通过使用 JMultiWOZ 评估英语基准数据集 MultiWOZ2.2 和最新的大型语言模型 (LLM) 方法的对话状态跟踪和响应生成能力，评估结果表明 JMultiWOZ 与 MultiWOZ2.2 具有相当的水平。此外，通过与模型和人类参与者进行交互对话的评估实验，我们发现日语中 LLMs 在任务完成能力上存在局限性。

Mar, 2024

PLATO-K: 内部和外部知识增强对话生成

本研究基于两个阶段的对话学习引入了 PLATO-K，以加强内部知识记忆和外部知识利用， extensive experiments 显示 PLATO-K 的总体吸引力在闲聊和知识密集型对话方面显著提高了 36.2％和 49.2％，这缓解了 PLATO-K 的知识问题。

Nov, 2022

PLATO-2: 通过课程学习构建开放域聊天机器人

使用 PLATO-2 和课程学习的有效训练过程构建高质量的开放域聊天机器人，该过程涉及两个阶段的学习，第一阶段训练粗糙生成模型来学习响应生成，在细糙的生成模型和评估模型的指导下继续训练来生成多样的响应并选出最佳响应，PLATO-2 在中英文数据上得到了验证和优越性验证，达到了最新的卓越结果。

Jun, 2020

基于 Transformer 的日语闲聊系统的训练策略实证分析

本文研究了基于 Transformer 编码器 - 解码器模型的高性能会话系统对日语的适用性，特别是在不同的微调数据集和模型参数下，探究了用户的具体印象和效果。

Sep, 2021

MP2D: 自动话题转移对话生成框架利用知识图谱

虽然在话题对话系统方面取得了很大进展，但如何有效地在对话中处理话题转换仍然是一个持久的挑战。本研究提出了 Multi-Passage to Dialogue (MP2D) 框架，该框架通过自动生成自然话题转换的对话问答数据集来解决这个问题。通过利用知识图谱中实体之间的关系，MP2D 能够映射对话中的话题流程，有效地模拟人类对话的动态过程。它通过将与话题相关的段落转换为对话形式，将其转化为对话。通过定量和定性实验证明了 MP2D 在生成具有自然话题转换的对话方面的有效性。此外，本研究还引入了一个新的话题转换对话基准，TS-WikiDialog。通过利用该数据集，我们展示了即使是大型语言模型（LLMs）也难以有效处理对话中的话题转换，并展示了使用 MP2D 生成的数据集训练模型在不同话题转换对话任务中的性能提升。

Mar, 2024

利用大规模语言模型构建具有角色指定的开放域对话系统

本研究旨在解决将角色赋予开放领域对话系统的问题，并提出了一个高效的数据收集框架，借助大规模语言模型的上下文少样本学习来构建满足角色约束的对话数据集。在此基础上，通过比较不同架构的开放领域对话系统，在保持其会话能力的同时满足角色约束。研究结果消息表明，我们的模型返回少量越界言论，在一般指标上保持竞争力。

Apr, 2022

以任务为导向的对话系统作为自然语言生成

本文提出了一种基于大规模预训练模型（如 GPT-2）的任务驱动对话系统纯自然语言生成任务，以简化复杂的词语替换处理，但是直接使用会遇到对话实体不一致性和预训练模型精调时的灾难性遗忘问题，因此我们设计了一种新的 GPT-Adapter-CopyNet 网络，它将轻量级 adapter 和 CopyNet 模块融入 GPT-2，以实现更好的迁移学习和对话实体生成，而且实验结果表明，我们的方法在自动和人类评估方面的性能显著优于基线模型。

Aug, 2021

长期人物记忆的开放域对话

为了解决 Open Domain 对话模型在长时间对话中缺乏理解和记忆能力的问题，我们提出了一种新的任务 —— 长期记忆对话（LeMon），并构建了一个具备长期记忆机制的对话生成框架（PLATO-LTM ），允许系统在不需要多个会话数据集进行模型训练的情况下，准确提取和持续更新长期个人记忆。在 DuLeMon 的结果表明，PLATO-LTM 在长期对话一致性方面可以显著优于基线，从而导致更好的对话互动。

Mar, 2022