Sep, 2023

通过因果干预方法消除文本 - 视频检索中的帧长度偏见

PDF
TL;DR改进和开发新的网络架构是文本 - 视频检索的研究热点。然而，现有的方法可能存在学习和推理偏差问题，本研究首次尝试探索修剪视频剪辑的训练和测试集之间的时间偏差，并提出因果去偏方法，通过大量实验验证了该方法的有效性。
text-video retrievallearning biasinference biastemporal biascausal debiasing
发现论文，激发创造
  • 揭示视频及语言学习中的单帧偏差

    本文探讨了视频与语言学习中基于单帧的模型的应用，结果表明在大规模预训练条件下，采用适当的帧合并策略的单帧训练模型在某些视频与语言任务方面表现更佳，并且作者提出了两个基于现有细粒度动作识别数据集的检索任务，以便更全面地评估视频与语言模型。

    Jun, 2022

  • 自我中心的文本 - 视频检索挑战概述

    讨论了在文本 - 视频检索中不同来源导致的偏差，特别是帧长度偏差，并提出了一种简单方法来解决这种偏差，并得到了可喜的增长，最后提出了未来研究的方向。

    Jun, 2023

  • 混洗视频是否有益于解决时间偏置问题：一种新的时间定位训练框架

    该论文提出了一种新的培训框架，通过使用混洗的视频来解决时间偏差问题，该框架引入了交叉模态匹配和时间顺序区分两个辅助任务来促进模型训练，以强化其对于长期时间上下文的理解和减轻依赖于时间偏差的影响。

    Jul, 2022

  • 时间至上：为视频 Transformer 提供时间自监督

    本文提出了一种面向视频任务的基于 Transformer 的模型，通过自监督学习并增加对视频帧之间时间轴的考虑，有效地消除了空间偏差，提升了模型对于时间动态的表征能力并实现了很好的视频分类效果。

    Jul, 2022

  • 具有因果干预的视频时刻检索

    该研究提出了一种基于因果关系的视频时刻检索框架，利用 Deconfounded Cross-modal Matching（DCM）方法去除时刻位置的混淆效应，并在考虑所有可能的目标位置的情况下，公平地将查询和视频内容纳入模型中以提高准确性和泛化性能。

    Jun, 2021

  • 深入探讨视频中去偏置的时间句子定位：数据集、度量和方法

    本文提出了一种新的视频文本时间对齐评估协议，包括将常用的数据集重新组织为不同的分布以及引入一种新的评估度量方法。此外，作者还提出了一种基于因果关系的多分支去偏置去混淆框架，帮助模型更好地对齐句子查询和视频片段的语义，实现了更好的性能。

    Mar, 2022

  • 使用反事实推理和对抗偏差学习去除偏见的立场检测模型

    本文研究了如何缓解立场检测中数据集偏差的问题，通过借鉴因果效应的基本框架，我们使用对事实推理来建模并减少文本部分的数据集偏差，同时提出了一种对抗性偏差学习模块来更准确地建模偏差特征。实验证明，我们的模型在原始数据集和大部分新构造的测试集上优于现有的去偏差方法。

    Dec, 2022

  • 关于视音频检索中的语义相似度

    本文提出了一种基于语义相似性的视频检索方法，它允许多个视频和标题被视为同等相关，并且排名的顺序不影响检索性能比较，同时，它还提出了多种估计语义相似性的方法，以适应大规模检索数据集。本文在三个常用视频检索数据集上分析了该方法的表现。

    Mar, 2021

  • 关于 Fréchet 视频距离中的内容偏差

    探索 Fréchet Video Distance（一种评估视频生成模型的优秀指标）对每帧质量和时域真实度的偏向程度，并确定其来源；通过解耦帧质量和运动质量，量化 FVD 对时域轴的敏感性，发现 FVD 在大的时域损坏下略微增加；通过精心从不包含运动的大量生成视频中进行采样，显示能够显著减少 FVD 而不改善时域质量；研究表明 FVD 偏向于个别帧的质量；观察到偏向可以归因于从内容偏向数据集训练的受监督视频分类器提取的特征；结果显示使用最近的大规模自监督视频模型提取的特征的 FVD 对图像质量偏向较小；最后，通过验证我们的假设，重新审视了一些现实世界的例子。

    Apr, 2024

  • 用 FIRE 对抗火灾：评估文本到视频检索基准的有效性

    通过修正误标的负样本，我们评测了三种模型在两个标准测试集上的表现，发现在最佳模型上，修正后的指标提升了 25% 以上。此外我们发现测试集的 recall@10 已经接近饱和，同时我们推荐以样本抽样方式缓解标注数据成本，对未来的 text-to-video retrieval 基准测试提出了建议。

    Oct, 2022