Jun, 2024

多尺度时差变换器用于视频文本检索

PDF
TL;DR在视频文本检索领域，我们提出了一种名为 MSTDT 的变种 Transformer，主要解决了传统 Transformer 对于捕捉本地时间信息能力有限的问题，并通过多尺度时间 Transformer 来提取帧差异特征和整合差异和帧特征来更好地建模动态信息，实现了与 CLIP 等主干网络的全新最先进结果。
video-text retrievaltransformer-based methodsmulti-scale temporal difference transformerlocal temporal informationdynamic movement
发现论文，激发创造
  • CT-MVSNet: 交叉尺度变换的高效多视角立体视觉

    本文提出了一种新颖的跨尺度变换器来处理不同阶段的特征表示，同时引入了自适应匹配感知变换器、双特征引导聚合和特征度量损失等方法，以提高深度估计的准确性。实验证明，这种方法在 DTU 数据集和 Tanks and Temples 基准测试中取得了最先进的结果。

    Dec, 2023

  • 基于时空变换器的视频压缩框架

    空间 - 时间变换器 (STT-VC) 是通过整合放松可变形变换器 (RDT)、多粒度预测 (MGP) 模块和基于空间特征分布先验的变换器 (SFD-T) 来提高学习视频压缩 (LVC) 的性能。实验结果表明，该方法相比于现有技术在 BD-Rate 节省上获得了 13.5% 的最佳结果。

    Sep, 2023

  • MSSTNet：用于动态面部表情识别的多尺度时空卷积 - 变换网络

    通过提出多尺度时空 CNN-Transformer 网络（MSSTNet），本研究在人脸动态表情识别领域中取得了最先进的结果，该方法利用多尺度空间和时间信息实现了对面部表情的准确分类。

    Apr, 2024

  • 空间 - 时间令牌选择的有效视频 Transformer

    本文提出了 STTS 框架，这是一种动态选择少量视频关键信息的方法，可以在减小计算量的同时保持较高的识别准确率。

    Nov, 2021

  • 视频修复的解耦空时变形器

    提出了 Decoupled Spatial-Temporal Transformer (DSTT) 来改进视频修复效果。该方法通过分解学习空间 - 时间注意力来提高时间和空间精度，同时采用分层编码器，形成更好的空间 - 时间注意力机制。实验证明，该方法比现有的视频修复方法具有更好的效率和性能。

    Apr, 2021

  • TubeDETR: 基于 Transformer 的时空视频锚定

    提出了基于 Transformer 的 TubeDETR 模型，该模型能够高效地建模时空和多模态交互，用于解决视频中给定文本查询的时空定位问题，并且在视频定位任务上表现出色。

    Mar, 2022

  • 多层次时间序列变换器用于长期预测

    提出了一种多分辨率时间序列变压器（MTST）框架，采用了多支架构来同时建模不同分辨率的多样化时间模式，通过相对位置编码提取不同尺度上的周期成分，与现有的时间序列变压器相比，在几个真实世界数据集上进行了广泛实验，证明了 MTST 在与最先进的预测技术的比较中的有效性。

    Nov, 2023

  • 使用 Transformer 的视频传播经验研究

    本研究介绍了 Video Diffusion Transformer（VDT），它首次在基于扩散的视频生成中提出了 Transformer 的使用，通过模块化的时间和空间注意机制实现了 Transformer 块，并能够通过简单的令牌空间串联实现灵活的条件信息，VDT 的模块化设计促进了一种时空解耦的训练策略，其在视频生成、预测和动力学建模（即基于物理的 QA）任务上，包括自动驾驶，人类行动和基于物理模拟等领域的应用，表现出了出色的性能。

    May, 2023

  • 基于时空变换器的视频行人重新识别

    本研究将 Transformer 应用于基于视频的人体再识别，提出一种新的基于预训练的模型，并使用感知约束的时空 Transformer 模块和全局 Transformer 模块转换到下游域，取得了显著的准确率提高。

    Mar, 2021

  • VRT: 视频修复变换器

    本文介绍了一种基于 Transformer 的视频修复方法，利用时序信息进行跨帧高清图像恢复，在多个基准数据集上均取得了高于现有方法的表现。

    Jan, 2022