Jan, 2021

DVD：视频语境中多步推理的诊断数据集

PDF
TL;DR本文介绍了 DVD 数据集，使用该数据集分析现有方法并提供有趣的见解，探讨视频对话系统的能力与局限性，并为不同类型的空间时间推理注释详细信息，该数据集明确旨在减少模型可能利用的偏见。
video-grounded dialogue systemdvdsemantic dependenciesminimal biasesspatio-temporal space
发现论文，激发创造
  • CLEVR-Dialog: 一个用于视觉对话多轮推理的诊断数据集

    开发了一个名为 CLEVR-Dialog 的大型诊断数据集，以研究视觉对话中的多轮推理（multiround reasoning），在其中所有视觉对话的所有方面都得到了完全注释。使用 CLEVR-Dialog 测量了标准视觉对话模型的性能，特别是针对视觉指代消解（coreference resolution）的表现，并于之前数据集中的模型进行了比较，发现了其中的差异。

    Mar, 2019

  • 学习语义图上的推理路径，为基于视频的对话建立基础

    使用 PDC 模型通过语义图的构建和路径预测，依据对话上下文进行推理，从而在多轮视频对话中检索视觉线索并有效回答问题。

    Mar, 2021

  • 视听场景感知对话

    本论文介绍了场景感知对话任务，通过视频和音频研究场景，并在对话历史中利用上下文线索，以回答关于场景的问题；同时提出了 AVSD 数据集，并通过多项定量和定性指标评估了基础模型的表现，结果表明模型必须充分利用所有可用输入（视频、音频、问题和对话历史）才能在该数据集上取得最佳表现。

    Jan, 2019

  • 视频对话生成中的多模态语义图协同推理

    本文研究了基于视频对话生成，提出一种方法，可以将视频数据集成到预训练语言模型中，通过多模态推理实现各种模态之间的互补信息，实验结果表明，该模型能够在自动和人工评估方面显著优于现有的最先进模型。

    Oct, 2022

  • 对话至视频检索

    本文提出了一种结合结构化对话信息的对话 - 视频检索系统，使用纯文本查询可以提高检索性能，使用对话作为查询可以更进一步地提高检索性能。

    Mar, 2023

  • 基于视觉对话构建共同语境的 PhotoBook 数据集

    本文介绍了 PhotoBook 数据集，该数据集是一个大规模的英语对话集合，旨在调查会话期间积累的共享对话历史。该数据集包含 2500 个对话，并建议了一个基于共同信息的基准模型，其结果表明共同信息对于解决后续描述至关重要，强调了需要开发对话交互中常用地基础的更复杂的模型。

    Jun, 2019

  • 电影描述数据集

    本文提出了一个新的数据集 “Movie Description Dataset”，其中包括对于 72 部高清电影的超过 54,000 个句子和视频片段的平行语料库，此外，还比较了 DVS 和电影脚本这两种不同类型的电影描述。该数据集可用于基于计算机视觉和计算语言学的视频描述生成算法的性能评估。

    Jan, 2015

  • VSTAR：一个基于视频的对话数据集，用于具有场景和主题转换的情境语义理解

    本文提出了一个基于 VSTAR 数据集的视频对话理解的基准测试，其中包括场景分割、主题分割和视频对话生成三个基准测试，以验证多模态信息和段落在视频对话理解和生成中的重要性。

    May, 2023

  • 面向文档相关对话的数据集

    本研究介绍了一个文档驱动的文本对话数据集，包含关于热门电影的维基百科文章，利用两种神经网络模型对话，结果表明这种方法引入了更多信息，提高了生成回答的流畅度和吸引力。

    Sep, 2018

  • 教学视频问题回答数据集

    提出了一种新的基于教学视频的问题回答任务，并介绍了一个包含约 6000 个三元组的数据集（视频，问题，回答跨度），并使用几个基准算法对其进行了实验，从而得出该任务的挑战性并呼吁探索新算法。

    Dec, 2019