ICLRDec, 2022

TempCLR：具有对比学习的时间对齐表示法

PDF
TL;DR该论文提出了一种对全视频和段落进行显式比较的对比学习框架 TempCLR，通过使用动态时间规整来计算句子 - 剪辑对的最小累积成本作为序列级距离，它可以探索时间动态，并在视频检索、行动步骤定位和少量动作识别等任务中实现了一致的性能提升。
video representation learningcontrastive learningtemporal dynamicspre-trainingfew-shot action recognition
发现论文，激发创造
  • TCLR: 视频表征的时序对比学习

    本研究提出了一种新的时间对比学习框架，采用两个新的损失函数以提高现有自监督视频表示学习方法的性能，其中局部 - 局部时间对比损失和全局 - 局部时间对比损失实现了在各种下游视频理解任务中的显着改进。

    Jan, 2021

  • 时间感知的视频 - 语言预训练

    本研究提出了一种文本 - 视频本地化预文本任务，以实现细粒度的时间和语义对齐，从而让训练模型能够准确感知给定文本描述的视频时间边界，并且实验结果表明该方法在各种基准测试中显著提高了最先进的性能。

    Jan, 2023

  • 全局背景下的视频对比学习

    该研究提出了一种基于段落的视频级对比学习方法，它使用全局上下文形成正样本，同时还结合了一个时间顺序正则化项来确保视频的时序结构，实验证明该方法在动作分类、动作定位和视频检索等任务上能够超越现有的最先进方法。

    Aug, 2021

  • 利用非对齐文本进行弱监督视频表示学习

    本文提出了一种基于 transformer，支持弱监督下视频理解的方法，主要包括多粒度损失函数、伪造的帧 - 句对应关系等。在视频序列验证和文本匹配实验中表现良好。

    Mar, 2023

  • CLIP2Video: 通过 Image CLIP 掌握视频文本检索

    CLIP2Video 网络通过将图像语言预训练模型转移到视频文本检索，采用端到端方式，区别于领先的视频和语言学习方法的多模态交互，我们利用预训练的图像语言模型，进一步简化为两个具体阶段的框架，使其能够在相对较少的数据集上进行训练，并通过 Temporal Difference Block 和 Temporal Alignment Block 来提升多模态相关性，我们在 MSR-VTT，MSVD 和 VATEX 等主要文本到视频和视频到文本检索基准上实现了最新的检索准确性记录。

    Jun, 2021

  • 利用时间语境进行视频动作识别

    TC-CLIP 是一种改进的视觉语言模型，通过引入时间上下文信息和制造上下文令牌来实现视频理解和行为识别的效果提升。

    Apr, 2024

  • 时空表示的双重对比学习

    该论文提出了一种新的双重对比学习框架来解决背景场景偏差问题并有效地学习时空表示，实验证明在 UCF-101，HMDB-51 和 Diving-48 数据集上具有最先进的性能。

    Jul, 2022

  • 对比学习视频语料库瞬间检索

    本文提出了一个可用于视频语料库时刻检索的检索和定位网络，采用对比学习优化视频编码器和文本编码器，从而实现视频轮廓时序信息检索。该方法效率高且具有可比性。

    May, 2021

  • 视频 Transformer 的长短时对比学习

    本文提出了一种叫做 “长短时对比学习（LSTCL）” 的学习程序，可以让视频变压器模型在预测来自更长的时间范围内捕获的时序上下文的同时，学习一个有效的剪辑级表示，并在多项视频基准测试上取得了有竞争力的表现，成为有监督基于图像的预训练的有力替代方案。

    Jun, 2021

  • 视频动作识别和检索的时间对比图学习

    提出了一种名为 TCGL 的自监督学习方法，通过建立图模型来学习视频的时序表示，利用 “片段内” 和 “片段间” 的时间依赖作为时序表示学习的自监督信号，在大规模行动识别和视频检索基准测试中展示了显著的性能优势。

    Jan, 2021