我们构建了一个名为 InfoVisDial 的视觉对话数据集，通过将大规模多模态模型（如 GIT）和语言模型（如 GPT-3）进行有效的数据收集，利用可生成信息丰富的对话，最后通过人工筛选生成的对话来证明其覆盖了信息丰富且多样化的对话主题，为视觉对话任务提供了一个强有力的基线。

Dec, 2023

本文介绍了视觉对话任务，即通过图像、对话历史和问题，要求 AI 智能体以自然、对话式的语言与人类进行有意义的对话，并率先提出了一种基于视觉的通用测试方法以及一种新颖的二人聊天数据收集协议。在此基础上，利用 Latre Fusion、Hierarchical Recurrent Encoder 和 Memory Network 等三个编码器和两个解码器（生成式和判别式），超越了许多复杂的基准线，并采用了基于检索的评估协议，Quantify 了机器和人类在视觉对话任务上的性能差距，进而演示了第一款 “视觉聊天机器人”。

Nov, 2016

该研究提出了一种多模态增量变形器（MITVG）的视觉指向方法，该方法可以显式地定位与文本实体相关的图像对象，从而帮助模型排除不需要关注的视觉内容，进而在多轮对话历史记录和视觉场景的基础上生成一致且连贯的响应。该模型在 VisDial v0.9 和 v1.0 数据集上实验结果证明了其优越性能。

Sep, 2021

本文提出了一种基于 ViLBERT 的方法，该方法采用与 Visual Dialog 相关的视觉语言数据集的预训练，随后转移到 Visual Dialog 的训练上。文中还发现，在 Visual Dialog 中使用密集注释进行微调，可以提高 NDCG，但会降低 MRR。

Dec, 2019

研究如何提高视觉对话代理的适应性，使其可以在不忘记如何与人交谈的情况下，高效地适应新任务。通过分解意图和语言，减少在新任务中语言漂移的情况，并通过定性结果、自动化指标和人类研究证明我们的模型可以适应新任务并保持语言质量。

Jul, 2020

本论文研究了视觉对话中的两个核心难题：对话历史下的语义结构推理和给定问题的多个合适答案的识别。为解决这些挑战，我们提出了 Sparse Graph Learning (SGL) 和 Knowledge Transfer (KT) 方法，使用了基于图结构学习的 SGL 推断出稀疏的对话结构，进而创新性地利用了 KT 以缓解单一答案标签限制模型获取多个合理答案的问题。结果表明，模型在 VisDial v1.0 数据集上具有比基线方法更强的推理能力，且表现优于现有的最先进方法。

Apr, 2020

本文提出一种新的训练神经序列模型，将判别式对话模型的知识传递到生成式对话模型中，通过 Gumbel-Softmax 逼近离散分布，建立了一个可端对端训练的生成式视觉对话模型，并在视觉对话数据集上显著优于现有模型 (10 个问题中有 2.67 个问题得分有所提高)。

Jun, 2017

本文提出了一种基于强化学习和生成对抗网络的新方法，结合注意力机制为每个回答生成可解释的理由，从而在保持自然对话的一致性的同时回答正确地回答问题，取得了当前主要基准测试的最先进结果。

Nov, 2017

该论文提出了一种基于视觉对话状态跟踪（VDST）的方法，用于生成关于图片中目标的问题，该方法将对话状态表示和跟踪作为重点。该方法利用分布和对象差异注意力等特征来生成问题，并通过 GuessWhat！数据集的实验结果证明其在减少重复问题等方面的表现明显优于先前的最先进方法。

Nov, 2019

本文提出了一个大规模多模态对话数据集 OpenViDial，并基于该数据集提出了一族多种编码器 - 解码器模型，使用了文本和视觉上下文。结果表明，多模态特征的整合可以显著提高对话生成的质量，是实现大规模多模态对话学习的重要一步。

Dec, 2020