本研究提出了一个新的人对人对话数据集 - PhotoChat，该数据集是第一个关注于在线消息中照片分享行为的数据集，其中包含 12k 个对话。基于此数据集，我们提出了两个任务以促进图像文本建模的研究：一个是用于预测下一个对话回合中是否打算分享照片的照片分享意图预测任务，另一个是根据对话上下文检索最相关的照片的照片检索任务。在这两个任务中，我们使用最先进的模型提供基线模型，并报告其基准表现。最佳图像检索模型实现了 10.4％的召回率 @ 1（1000 个候选项之一），而最佳照片意图预测模型达到 58.1％的 F1 分数，表明该数据集提供了有趣而具有挑战性的现实问题。我们发布了 PhotoChat，以促进未来的研究工作。

Jul, 2021

本文介绍了一个新数据集，包含 107292 个英语句子与网络照片的组合，任务是确定自然语言字幕是否与一对照片相符。数据要求包括数量、比较和关系等组成性联合推理的定性分析以及强大的视觉推理方法的评估。

Nov, 2018

本研究介绍了一个文档驱动的文本对话数据集，包含关于热门电影的维基百科文章，利用两种神经网络模型对话，结果表明这种方法引入了更多信息，提高了生成回答的流畅度和吸引力。

Sep, 2018

本论文研究了基于图像的对话沟通的大型架构和数据集，利用现代状态下的图像和文本表征方式考虑不同的融合方式以实现机器人与人之间的对话，提出了 Image-Chat 数据集并通过自动指标和人类评估验证了模型的有效性以及其在现有基准测试中的表现，并得出最佳模型与人类表现相当的结论。

Nov, 2018

本文介绍了一个新的资源和框架，用于研究在视觉基础对话中细化语言理解，该资源包括 OneCommon 语料库、空间表达式、基于参考解析评估模型对语言结构理解的实验等，通过提供全面和可靠的语言结构注释，揭示了基线模型的优缺点。

Oct, 2020

本文介绍了 DVD 数据集，使用该数据集分析现有方法并提供有趣的见解，探讨视频对话系统的能力与局限性，并为不同类型的空间时间推理注释详细信息，该数据集明确旨在减少模型可能利用的偏见。

Jan, 2021

本文提出一个基于神经网络的对话模型，用于协同解决局部可见参考游戏。该模型通过结构化的参考解析器精准地理解对话内容，利用递归记忆处理复杂任务并采用合理的生成策略，大幅提高了任务完成率。实验结果表明，该模型相对于同领域前沿技术取得了显著的性能提升。

Sep, 2021

该研究提出了一种新颖的任务 —— 基于图片的对话（IGC），通过图片来约束话题从而产生更高质量的对话，并引入了一个通过众包来构建的多目标参考数据集。实验结果表明，将视觉和文本相结合可以提高对话的质量，而对人的表现与神经和检索结构之间的差距表明多模态 IGC 是一个有趣的对话研究挑战。

Jan, 2017

doc2dial 是一种以文档为基础的目标导向的对话数据集，包含来自四个领域超过 480 个文档的约 4800 个带注释的对话，通过引入多重对话建模任务和基线方法来评估数据集的多功能性。

Nov, 2020

本文介绍了一种基于 CLIP 相似度的多模态对话数据集创建管道，使用这个管道，我们提出了一个大规模的多模态对话数据集 DialogCC，并且通过广泛的实验结果表明，使用我们的数据集训练多模态对话模型可以改善泛化性能，与此同时，使用我们的数据集训练的现有模型在图像和文本检索任务上取得了最先进的表现。

Dec, 2022