Mar, 2022

基于预训练语言模型的高效生成式对话预训练技术 - PanGu-Bot

PDF
TL;DR本文介绍 PanGu-Bot，一个基于大型预训练语言模型（PLM）PANGU-alpha 的中文预训练开放域对话生成模型。从响应质量、知识和安全三个方面，PanGu-Bot 优于现有的中文对话系统，并且可以轻松地生成情感响应。但是，响应质量、知识正确性和安全性仍然不够完美，需要进一步研究来建立可靠智能的对话系统。
pangu-botchinese pre-trained open-domain dialogue generation modelpangu-alphaplmsresponse quality
发现论文，激发创造
  • PanGu-$α$: 大规模自回归预训练中文语言模型及自动并行计算

    本文介绍了在 MindSpore 框架下使用 2048 Ascend 910 AI 处理器集群训练了包含 2000 亿个参数的 PanGu-alpha 预训练语言模型及其并行算法，测试了其在各种场景下的生成能力 (包括文本摘要、问答、对话生成等) 以及探究其在零样本及少样本情况下的表现，证明了其在这些任务中的卓越能力。

    Apr, 2021

  • GLM-Dialog: 知识驱动对话生成的噪声容错预训练

    GLM-Dialog 是一个拥有 10B 参数的大规模语言模型，使用搜索引擎来访问网络知识进行基于知识的中文对话，在评估方面提出了一种新的评估方法，同时发布了模型检查点和源代码，并通过微信应用程序与用户进行交互，以促进开源模型和可靠对话评估系统的发展。

    Feb, 2023

  • EVA2.0：基于大规模预训练的中文开放领域对话系统研究

    本文研究大规模预训练对于中文场景下开放域对话系统的影响，提出 EVA2.0 模型，并通过自动和人工评估证明该模型在公开数据集上表现更优，同时讨论了该工作的局限性和未来方向。

    Mar, 2022

  • EVA：一个基于大规模生成预训练的开放域中文对话系统

    本文提出了一个包含最大的 2.8B 参数的中文对话系统 EVA，使用最大的中文对话数据集 WDC-Dialogue 进行预训练，实验证明 EVA 在人机会话的多轮交互中表现优异，超过了其他中文预训练对话模型。

    Aug, 2021

  • 基于预训练 Transformer 自然语言模型的开放领域对话生成的实证研究

    本研究使用预训练模式和微调模式对基于 Transformer 的语言模型进行实证研究，探讨其在开放域对话生成任务中的性能表现和多样性，发现各种变形策略对生成结果都有不同程度的影响。

    Mar, 2020

  • PLATO-XL: 探索对话生成的大规模预训练

    采用统一 transformer 架构和多方知觉预训练，PLATO-XL 超越其他方法在社交媒体上进行中英文闲聊，同时在基于知识的对话和任务导向的会话等多个会话任务上获得令人满意的结果，证实其作为会话人工智能的基础模型的潜力。

    Sep, 2021

  • ChatPLUG: 面向数字人类的开放领域生成对话系统，利用互联网增强的指令调整

    本文介绍了 ChatPLUG：一个用于数字人类应用的中文开放域对话系统，通过互联网增强的指导微调在统一的互联网增强格式中针对广泛的对话任务。在多个任务上进行指导微调，集成外部知识的互联网搜索，从而表现出良好的多任务泛化性能，并在真实世界应用中展示出卓越的性能。

    Apr, 2023

  • PanGu-Coder：利用函数级别语言建模的程序综合

    PanGu-Coder 是一种预训练的仅解码器语言模型，在文本到代码生成方面采用 PanGu-Alpha 架构，使用因果语言建模和屏蔽语言建模的训练方法，以实现在自然语言问题描述的情况下对编程语言解决方案进行综合的代码生成和优化。

    Jul, 2022

  • 适配器机器人：多功能可控对话模型

    本研究提出了 Adapter-Bot，一种对话模型，使用不同的适配器触发按需的对话技能，并实现不间断集成和无缝利用多种知识源，通过与现有最先进的对话模型进行比较的自动评估来评估我们的模型。

    Aug, 2020

  • PLATO-2: 通过课程学习构建开放域聊天机器人

    使用 PLATO-2 和课程学习的有效训练过程构建高质量的开放域聊天机器人，该过程涉及两个阶段的学习，第一阶段训练粗糙生成模型来学习响应生成，在细糙的生成模型和评估模型的指导下继续训练来生成多样的响应并选出最佳响应，PLATO-2 在中英文数据上得到了验证和优越性验证，达到了最新的卓越结果。

    Jun, 2020