LiveChat: 从直播流自动构建的大规模个性化对话数据集

ACLJun, 2023

LiveChat: 从直播流自动构建的大规模个性化对话数据集

LiveChat: A Large-Scale Personalized Dialogue Dataset Automatically Constructed from Live Streaming

Jingsheng Gao, Yixin Lian, Ziyi Zhou, Yuzhuo Fu, Baoyuan Wang

TL;DR通过引入 1.33 亿真实的中文对话数据集 LiveChat，并提出基于先进技术的检索式基线方法，本研究在多方对话范围内针对回应建模和宾语识别等两个关键任务进行研究，并验证了利用人物特征和更大的平均会话数对任务的积极影响，同时还提出了当前挑战的未来方向。

Abstract

open-domain dialogue systems have made promising progress in recent years. While the state-of-the-art dialogue agents are built upon large-scale text-based social media data and large pre-trained models, there is no guarantee these agents could also perform well in fast-growing scenari

open-domain dialogue systems livechat dataset response modeling addressee recognition generation-based models

发现论文，激发创造

Pchatbot: 用于个性化聊天机器人的大规模数据集

介绍了 Pchatbot 数据集，该数据集是从微博和司法论坛等地收集的大规模对话数据集，通过去重、标准化、过滤等过程来适应对话系统，提供匿名用户 ID 和时间戳等隐私保护技术，为未来的个性化对话模型提供基础，公开在 Github 上。

Sep, 2020

PersonalityChat: 基于事实和特征的个性化对话建模的会话提炼

本文利用大型语言模型（LLM）通过个性化对话生成，基于个人特点和人格特质创建了一个合成对话数据集，从而证明了个性化对话模型和与 PersonaChat 相比的表现优势。

Jan, 2024

LMSYS-Chat-1M：一种大规模真实 LLM 对话数据集

研究了人们在现实世界中如何与大型语言模型进行互动的重要性，介绍了包含 25 个尖端的大规模语料库，共有 100 万条来自 210K 个独立 IP 地址的真实对话的 LMSYS-Chat-1M 数据集的内容、统计数据和主题分布，通过四个应用案例展示了其多功能性，并认为该数据集将成为理解和推进大型语言模型能力的有价值资源。

Sep, 2023

训练数百万个个性化对话代理

本文介绍了一个包含 500 万个人物角色和 7 亿个依据人物角色的对话的新数据集，研究表明，使用此数据集训练对话系统，尤其是当基于文本人物角色时，可以提高其表现，并且在 Zhang 等人（2018）的数据上进行微调可以实现最新的成果。

Sep, 2018

借助大语言模型生成忠实的以人为基础的对话数据集

通过建立 Generator-Critic 架构，使用 LLM 生成会话，借助 Synthetic-Persona-Chat 评估了高质量对话数据集对 NLP 模型的影响。

Dec, 2023

一个大规模的中文短文本对话数据集

本文介绍了一个大型的、经过清洗的中文对话数据集 LCCC，包含基础版和大型版两种版本，共计 680 万和 1200 万对话。数据集的质量通过一套规则和分类器确保。此外，本文还释放了 LCCC-base 和 LCCC-large 的预训练对话模型，这些数据集和模型将有助于研究短文本对话建模。

Aug, 2020

销售机器人 2.0：一个人类化意图导向的闲聊数据集

本文介绍了 SalesBot 2.0，通过使用大型语言模型的常识知识逐渐缩小闲聊和面向任务的对话之间的差距，构建了一个新的大规模数据集，提供了更加平滑的话题转换和更加接近人类自然性和一致性的对话，对学术研究和商业应用都具有重要价值，并提出了一种框架可以用于生成具有各种目标意图的对话。

Aug, 2023

LiveChat: 从视听多模态环境生成视频评论

通过创建大规模的音视频多模式对话数据集，以促进直播评论技术的发展，我们还提出了一种能够生成与视频中的时空事件以及正在进行的多模式对话上下文相吻合的实时评论的新颖多模式生成模型。

Oct, 2023

多语言聊天数据集：Tagengo

我们提供了一个高质量的数据集，包含 74 种语言中的超过 70k 个提示 - 回应对，用于训练最先进的开源英语语言模型，以实现多语言对话。在 6 种语言的 MT-Bench 对话基准测试中，我们的多语言模型优于先前的开源语言模型。此外，我们发现在更多多语言数据上进行训练有助于比仅仅在特定语言的数据上进行训练（如日语），从而提高性能。这些结果表明，在大量高质量多语言数据的训练下，实现更易用的语言模型变得必要。

May, 2024

通过扩大高质量的指导性对话提升聊天语言模型

本文介绍了通过 fine-tuning instruction data 实现 ChatGPT 之类聊天语言模型的有效性，提出了一个系统设计的、不涉及人类查询、包含 150 万高质量多轮对话的 UltraChat 聊天数据集，使用该数据集 fine-tune 了 LLaMA 模型得到了更好的性能表现，成为领先的开源数据集。

May, 2023