Apr, 2023

ChatPLUG: 面向数字人类的开放领域生成对话系统，利用互联网增强的指令调整

PDF
TL;DR本文介绍了 ChatPLUG：一个用于数字人类应用的中文开放域对话系统，通过互联网增强的指导微调在统一的互联网增强格式中针对广泛的对话任务。在多个任务上进行指导微调，集成外部知识的互联网搜索，从而表现出良好的多任务泛化性能，并在真实世界应用中展示出卓越的性能。
chinese open-domain dialogue systemdigital human applicationsmulti-task generalizationinternet-augmented instruction tuningstate-of-the-art performance
发现论文，激发创造
  • PLATO-2: 通过课程学习构建开放域聊天机器人

    使用 PLATO-2 和课程学习的有效训练过程构建高质量的开放域聊天机器人，该过程涉及两个阶段的学习，第一阶段训练粗糙生成模型来学习响应生成，在细糙的生成模型和评估模型的指导下继续训练来生成多样的响应并选出最佳响应，PLATO-2 在中英文数据上得到了验证和优越性验证，达到了最新的卓越结果。

    Jun, 2020

  • 通过跨模态跳跃连接实现有效和高效的视觉 - 语言学习的 mPLUG

    mPLUG 是一个新的视觉语言基础模型，通过新颖的跨模态 skip-connections 有效缓解了现有预训练模型由于跨模态对齐中长的视觉序列带来的信息不对称和低计算效率等问题，通过对大规模图像 - 文本对的端到端预训练，具有良好的视觉和语言能力，并在图像字幕生成、图像 - 文本检索、视觉定位和视觉问答等一系列视觉语言场景下实现了最先进的结果，并且具有很强的零样本学习能力。

    May, 2022

  • 基于统一知识表示的知识驱动对话生成

    PLUG 是一个预训练的语言模型，可以将异构知识源同化为一个统一的知识表示，从而提高知识引导型对话生成任务的泛化能力。该模型可以通过少量的训练样本实现不同下游知识引导型对话生成任务的泛化，且在零样本和少样本场景中表现显著优异。

    Dec, 2021

  • 社交媒体语境下的对话模型建立方法

    本文介绍了一种通过模仿社交媒体上的非正式互动改善系统的原始会话能力的方法，并利用 Reddit 上的过滤评论数据作为 seq2seq 生成器的额外上下文，以提高开放域对话系统的能力。

    Jun, 2022

  • 面向对话人工智能的统一预训练框架

    本文探讨了 PLATO-2 在各种对话系统中的应用，包括开放域对话、知识基础对话和任务导向对话，并通过参与 DSTC9 的多项任务的综合评估证实其在各种对话系统中的有效性。

    May, 2021

  • ChatLaw: 带外部知识库集成的开源法律大语言模型

    本文介绍了一个名为 ChatLaw 的开源法律大语言模型，它通过特定的数据集、关键词检索和自注意力机制来优化模型在法律领域的表现，解决了参考数据筛选过程中的模型幻觉问题，提升了其解决问题的能力。

    Jun, 2023

  • K-PLUG：用于电子商务自然语言理解和生成的知识注入预训练语言模型

    本研究提出了一种基于 encoder-decoder transformer 的知识注入预训练语言模型 K-PLUG，利用五种知识感知的自我监督预训练目标，包括电子商务领域特定知识库、产品实体的方面、产品实体的类别和产品实体的独特卖点，有效地为语言理解和生成任务学习了各种领域特定知识，并在包括产品知识库完成、摘要产品总结和多次对话等领域特定 NLP 任务中达到了新的最佳性能。

    Apr, 2021

  • Youku-mPLUG: 一份 1000 万规模的中文视频语言数据集，用于预训练和基准测试

    为促进 VLP 和 LLM 的发展，作者发布了 Youku-mPLUG 数据集，其中包含经过过滤的 1000 万个视频文本对，用于大规模预训练，并发布了基于该数据集预训练的模型和人类标注的中文基准，最终通过实验验证证明该数据集可以增强理解视频和文本任务。

    Jun, 2023

  • LiveChat: 从直播流自动构建的大规模个性化对话数据集

    通过引入 1.33 亿真实的中文对话数据集 LiveChat，并提出基于先进技术的检索式基线方法，本研究在多方对话范围内针对回应建模和宾语识别等两个关键任务进行研究，并验证了利用人物特征和更大的平均会话数对任务的积极影响，同时还提出了当前挑战的未来方向。

    Jun, 2023

  • MedChatZH：一个更好的医疗顾问从更好的指南中学习

    使用生成型的大型语言模型，在中医问答领域表现令人不满意，本研究引入了一个专门为中医问答设计的对话模型 MedChatZH，该模型在中医经典著作上进行预训练，并结合医学指南数据进行精细调优，在真实的医学对话数据集上胜过了几个基线模型。我们在链接上发布了我们的模型、代码和数据集，以促进传统中医和大型语言模型领域的进一步研究。

    Sep, 2023