Feb, 2023

GLM-Dialog: 知识驱动对话生成的噪声容错预训练

PDF
TL;DRGLM-Dialog 是一个拥有 10B 参数的大规模语言模型，使用搜索引擎来访问网络知识进行基于知识的中文对话，在评估方面提出了一种新的评估方法，同时发布了模型检查点和源代码，并通过微信应用程序与用户进行交互，以促进开源模型和可靠对话评估系统的发展。
发现论文，激发创造
  • 基于预训练语言模型的知识驱动对话生成

    我们使用预训练的语言模型来研究基于知识的对话生成，通过知识选择模块和无监督方法来优化知识选择和响应生成，实验结果表明，我们的模型在自动评估和人类判断方面都显著优于现有方法。

    Oct, 2020

  • DoctorGLM：细调您的中文医生并非力大无比的任务

    该研究旨在解决大型语言模型在医学领域的准确性问题，通过采集汉语医学对话数据库并使用一些技术训练了易于部署的的 ChatGLM-6B 模型，最终可以以较低的成本实现健康医疗目的的 LLM。

    Apr, 2023

  • DialogLM: 面向长对话理解和摘要的预训练模型

    本文提出了一种用于长对话理解和摘要的预训练框架，其中包括以窗口为基础的去噪方法和稀疏注意力机制，并通过实验表明 DialogLM 预训练模型显著优于现有的模型。

    Sep, 2021

  • CharacterGLM：使用大型语言模型定制中文对话人物

    我们介绍了一系列基于 ChatGLM 的模型，名为 CharacterGLM，模型包含从 6B 到 66B 个参数。我们的 CharacterGLM 旨在生成基于角色的对话（CharacterDial），以满足人们固有的社交需求和情感需求。通过配置他们的属性和行为，我们可以自定义各种 AI 角色或社交代理。根据人工评估，我们的模型在一致性、人类相似度和互动方面优于大多数主流的封闭源大型语言模型，包括 GPT 系列。我们将发布我们的 6B 版本的 CharacterGLM 和一部分训练数据，以促进基于角色的对话生成方向的进一步研究发展。

    Nov, 2023

  • 大型语言模型在自然语言生成任务中的系统评估

    研究论文从自然语言生成任务的角度全面评估了 ChatGPT、ChatGLM、基于 T5 的模型、基于 LLaMA 的模型和基于 Pythia 的模型等众所周知且表现良好的大型语言模型的性能，并提出了一种常见的评估设置，其中包括输入模板和后处理策略，通过与详细分析相结合的自动结果来报告研究结果。

    May, 2024

  • 基于预训练语言模型的高效生成式对话预训练技术 - PanGu-Bot

    本文介绍 PanGu-Bot，一个基于大型预训练语言模型（PLM）PANGU-alpha 的中文预训练开放域对话生成模型。从响应质量、知识和安全三个方面，PanGu-Bot 优于现有的中文对话系统，并且可以轻松地生成情感响应。但是，响应质量、知识正确性和安全性仍然不够完美，需要进一步研究来建立可靠智能的对话系统。

    Mar, 2022

  • 评估信息查询对话中基于文档的响应生成的大型语言模型

    该论文研究了在信息寻求对话中使用大规模语言模型（LLMs）如 ChatGPT 进行基于文件的响应生成。通过人工评估我们发现，ChatGPT 变种虽然有可能插入不在相关片段中的信息，可能存在错觉，但评分比共享任务获胜系统和人工响应更高。

    Sep, 2023

  • ChatLLM 网络：更多的智能，更多的大脑

    本文提出 ChatLLM 网络，利用多个基于 ChatGPT 的对话语言模型协同解决问题的能力，加入了一种反向传递更新系统，展现了这个网络在问题解决方面的显著性能提升。

    Apr, 2023

  • 预训练语言模型是否可应用于基础开放领域对话？

    通过使用预训练语言模型，我们尝试研究知识相关对话生成的相关性，发现在使用仅包含少量知识对话的细调过程中，预训练语言模型可以超越需要外部知识的最先进的模型，在自动评估和人类判断方面表现更好。

    Nov, 2020

  • 理解大型语言模型在对话评估中的效果

    本文探讨了大型语言模型在对话评估上的应用，发现训练模型的数据集的多样性和相关性是影响其性能的关键因素，同时探究了样本数量和使用类型对模型表现的影响。

    Jan, 2023