本文介绍了一种基于 CLIP 相似度的多模态对话数据集创建管道，使用这个管道，我们提出了一个大规模的多模态对话数据集 DialogCC，并且通过广泛的实验结果表明，使用我们的数据集训练多模态对话模型可以改善泛化性能，与此同时，使用我们的数据集训练的现有模型在图像和文本检索任务上取得了最先进的表现。

Dec, 2022

探索利用图片等多模态语境来改善对话系统，使用自然语言数据集 MMChat，通过人工筛选和过滤得到 MMChat-hf，利用注意力机制改善生成任务的稀疏性，结果表明引入图片特征的有效性和处理稀疏性的效力。

Aug, 2021

本文提出创建一种包含图像的 45k 多模态对话数据集的方法，该方法通过准备、预处理文本对话数据集、使用文本转图像技术创建混合图像对话，以及利用基于上下文相似性的过滤步骤确保数据集的上下文一致性。自动度量和人类评估结果表明，我们的数据集可以有效地用于多模态对话系统的训练，需要以上下文感知的方式理解图像和文本。

Jul, 2021

本研究提出了一个基于真实情境的多模交互对话数据集 SIMMC 2.0，收集了 11,000 个在购物领域的用户 <-> 助手任务对话。数据集通过模拟器和手工语句改写收集，可用于对话系统的基准测试和自然语言处理研究。

Apr, 2021

通过 Multimodal Data Construction Framework (MDCF) 自动生成 Explanatory Multimodal Open-Domain dialogue dataset (EXMODD)，同时提高数据生成质量和可解释性以降低数据收集成本。

Oct, 2023

本研究建立了两个大规模医疗对话数据集：MedDialog-EN 和 MedDialog-CN，它们分别包括英语和中文的病患与医生之间的对话，以帮助研究和开发医疗对话系统。这些数据集是迄今为止最大的医疗对话数据集。

Apr, 2020

本研究通过学习 MMD 数据集并实现基于知识库的多模态对话模型解决了多模态基于搜索的对话系统中的新挑战，该模型将编码的知识库表示附加到解码器输入中，从而在文本相似性测量方面获得了高于强基线的表现，其中三个 BLEU 点仅由于使用了来自知识库的附加信息。

Oct, 2018

我们开发了一个高质量的多回合对话数据集 DailyDialog，包括人类编写的不太嘈杂的语言，反映我们日常交流方式并涵盖我们日常生活的各种主题。我们手动标记了这个数据集的通信意图和情感信息，并在 DailyDialog 数据集上评估现有的方法，希望它有益于对话系统的研究领域。

Oct, 2017

本文介绍了一个新的跨方言语音数据集，用于英语印度、尼日利亚和美国口音。该数据集通过提示参与者执行一系列短的信息分享任务来平衡开放式对话和面向任务的对话，以促进量化的跨方言比较，并避免对方言特征表现的限制性任务结构的强制性。初步分析表明该数据集在语法和话语标记的使用上有显着差异。该数据集包括超过 20 个小时的音频和超过 200,000 个正字法转录的标记，并已公开发布。

May, 2023

为了解决多模态对话中图像与文本之间的差距，我们构建了一个包含图像、产品知识库和文本的大规模数据集 JDDC 2.0，并给出了基于此数据集的顶尖团队的解决方案，为进一步研究多模态对话任务提供了有价值的启示。

Sep, 2021