AAAIJan, 2024

针对视频中的时间句子定位的偏见 - 冲突样本合成和对抗性消除偏见策略

PDF
TL;DR通过使用偏置冲突样本合成和对抗性去偏策略（BSSARD），本研究提出了一种动态生成偏置冲突样本的方法，利用单模态特征与目标时刻的时间位置之间的潜在错综复杂的相关性。通过对抗性训练，偏置生成器不断引入偏见并生成偏置冲突样本来欺骗基准模型，同时基准模型不断消除引入的偏见，这需要其模拟多模态对齐信息。BSSARD 能够覆盖大多数耦合关系并同时破坏语言和视觉偏见。对 Charades-CD 和 ActivityNet-CD 的大量实验证明了 BSSARD 的有希望的去偏能力。
temporal sentence grounding in videodataset bias issuebias-conflict sample synthesisadversarial removal debias strategymulti-modality alignment information
发现论文，激发创造
  • 减少视觉和语言偏见以进行时间性句子定位

    本文提出了一种消除多媒体信息检索中选择偏差的 Debiasing-TSG（D-TSG）模型，实现在常见和罕见情况下的 Temporal sentence grounding，在三个基准数据集上取得了最先进的表现。

    Jul, 2022

  • 深入探讨视频中去偏置的时间句子定位：数据集、度量和方法

    本文提出了一种新的视频文本时间对齐评估协议，包括将常用的数据集重新组织为不同的分布以及引入一种新的评估度量方法。此外，作者还提出了一种基于因果关系的多分支去偏置去混淆框架，帮助模型更好地对齐句子查询和视频片段的语义，实现了更好的性能。

    Mar, 2022

  • 重新思考视频采样和推理策略，用于时间性句子定位

    本文提出了一种用于时序句子定位的新型 Siamese 取样与推理网络（SSRN），该网络使用 Siamese 取样机制在已有取样的基础上生成额外的情境帧，以更精细地理解活动，解决了已有方法中忽略的时序数据偏差和推理偏差问题，并能够在保证模型泛华能力的同时，对三个具有挑战性的数据集进行有效的定位。

    Jan, 2023

  • 混洗视频是否有益于解决时间偏置问题：一种新的时间定位训练框架

    该论文提出了一种新的培训框架，通过使用混洗的视频来解决时间偏差问题，该框架引入了交叉模态匹配和时间顺序区分两个辅助任务来促进模型训练，以强化其对于长期时间上下文的理解和减轻依赖于时间偏差的影响。

    Jul, 2022

  • 视频中的时间句子定位：数据集和度量的深入探讨

    本文主要研究 Temporal Sentence Grounding in Videos，在现有的评估协议中，重新组织两个广泛使用的 TSGV 基准及引入新的评估指标 dR @ n，IoU @ m 来校准基本的 IoU 分数，进一步监控 TSGV 的进展。

    Jan, 2021

  • 视频场景图生成的元空间时偏差校正

    本研究提出了一种基于元学习的 Meta Video Scene Graph Generation (MVSGG) 框架，用于从支持集和若干查询集中构建训练数据并通过元训练和测试过程指导模型学习以针对空间时间条件偏差进行泛化，以提高视频场景图生成的泛化性能。

    Jul, 2022

  • 从有偏训练数据中生成无偏场景图

    本文通过因果推断方法构建了一个场景图生成的因果图，并通过传统偏差训练和反事实因果关系推断方法去除其不良偏差，最终提出了一个基于 Total Direct Effect 的无偏差 SGG 框架。

    Feb, 2020

  • 时序语句定位的变换等变一致性学习

    介绍了一种新颖的自我监督学习框架，称为等变一致性规则学习（ECRL）框架，用于解决时间句子基础性问题（TSG），并利用该框架通过自我监督方式学习更具有区分性的针对每个视频的基于帧的查询相关表示。

    May, 2023

  • 通过两阶段因果建模实现无偏场景图生成

    本文提出了一种使用因果推理的场景图生成任务去偏置化的方法，其中包含两个阶段的因果建模，第一阶段是因果表示学习，第二阶段是自适应逻辑调整，实验结果表明该方法可以在头尾关系之间实现更好的平衡，达到最先进的性能表现。

    Jul, 2023

  • 视频中无偏场景图生成

    该研究提出了一个名为 TEMPURA 的框架，通过基于 Transformer 的序列建模，学习合成无偏差的关系表示，并使用高斯混合模型来减少视觉关系的预测不确定性，从而解决视频动态场景的场景图生成中存在的多种问题。该方法在生成更加无偏的场景图方面具有显著的优势。

    Apr, 2023