video transformers | BriefGPT

关键词video transformers

搜索结果 - 15

基于有向 Gromov-Wasserstein 差异的多视角动作识别
我们提出了一种多视角注意力一致性方法，使用有向 Gromov-Wasserstein 差异计算来自行动视频的两个不同视角的注意力之间的相似度。此外，在单视角数据集上训练时，我们的方法应用了神经辐射场的思想来隐式渲染来自新视角的特征。与最近的
PDF2 months ago
CVPRvid-TLDR: 轻量级视频 Transformer 的无训练自由标记合并
提出了轻量级视频 Transformer（vid-TLDR）的训练免费的令牌合并策略，通过合并背景令牌并通过关注图捕捉显著区域来提高视频 Transformer 的效率。实验证明，vid-TLDR 显着减轻了视频 Transformer 的
PDF3 months ago
通过通用概念发现理解视频变形器
本研究探讨了基于视频的 Transformer 表征的概念可解释性问题，通过自动发现高级时空概念，系统性地解决了视频模型中动态概念的识别挑战，并提出了 Video Transformer Concept Discovery (VTCD) 算
PDF5 months ago
仅加 $π$！用于理解日常生活活动的姿势引发视频 Transformer
PI-ViT is a Pose Induced Video Transformer that augments RGB representations learned by video transformers with 2D and 3
PDF7 months ago
视频变换器在遮挡下的应用：物理和背景属性对机器人操纵的大模型的影响
通过研究物体的物理属性（颜色、摩擦系数、形状）和背景特征（静态、动态、背景复杂度）对视频变换器在遮挡下的轨迹预测任务中的性能影响，本研究旨在调查物理属性和背景特征如何影响模型性能，哪些属性对模型的泛化性能最具影响力，以及大型变换器模型在单个
PDF9 months ago
SAS 视频 QA：自适应采样优化视频问答
提出了两种帧采样策略，即最主导帧（MDF）和最隐含帧（MIF），用于最大限度地保留对给定问题最重要的帧，验证实验结果表明这些策略能够提高图像 - 文本预训练模型的性能。
PDFa year ago
ViViT 训练优化：行动识别的时间和内存减少
本文提出了一种训练策略，可以降低视频 transformers 的训练时间和内存消耗，通过对 ViViT 的编码器变体进行修正实现冻结空间 transformer 的效果并提高准确率，最终在 6 个基准测试中减少了 50％的训练成本和内存消
PDFa year ago
ECCV使用状态空间视频模型进行长视频片段分类
提出了一种结合自我关注和 S4 层优点的高效长范围视频模型，具有复杂的长范围时空依赖性，比传统的全自注意模型快 2.63 倍，占用 8 倍更少的 GPU 内存，并在视频分类等任务中取得了最先进的结果。
PDF2 years ago
CVPR可变形视频转换器
本研究提出了 Deformable Video Transformer，利用动态预测小型视频数据块，根据运动信息决定模型在哪里观察视频，并优化变形注意机制，以获得更高的精度和更低的计算成本。
PDF2 years ago
使用视频和图像联合训练 Transformer 提高动作识别
本文探索视频 transformer 的几个训练范式，并提出了一种称为 CoVeR 的方法，通过与图像的共同训练，提高了视频 transformer 的性能，尤其是在动作识别上，取得了最好的结果。
PDF3 years ago
CVPRBEVT: 视频变形器的 BERT 预训练
本研究探讨了视频变压器的 BERT 预训练。我们介绍 BEVT，将视频表示学习分解为空间表示学习和时间动态学习。通过在图像数据上进行掩蔽图像建模（masked image modeling）和在视频数据上同时进行掩蔽图像建模和掩蔽视频建模
PDF3 years ago
CVPR自监督视频 Transformer
本研究提出了一种基于未标记视频数据进行自监督训练的视频 Transformer 方法。通过使用不同的空间大小和帧速率创建局部和全局的时空视图，实现了视频内 actions 的时空不变性，并且该方法不再需要使用负样本或专用存储器。该方法在动作
PDF3 years ago
ECCV空间 - 时间令牌选择的有效视频 Transformer
本文提出了 STTS 框架，这是一种动态选择少量视频关键信息的方法，可以在减小计算量的同时保持较高的识别准确率。
PDF3 years ago
CVPR视频 Transformer 的长短时对比学习
本文提出了一种叫做 “长短时对比学习（LSTCL）” 的学习程序，可以让视频变压器模型在预测来自更长的时间范围内捕获的时序上下文的同时，学习一个有效的剪辑级表示，并在多项视频基准测试上取得了有竞争力的表现，成为有监督基于图像的预训练的有力替
PDF3 years ago
视频 Transformer 中的轨迹注意力
我们提出了一种新的视频转换器的降压块 - 轨迹关注，并提出了一种解决计算和存储在输入大小上的二次依赖性的新方法，其中特别重要的是对于高分辨率或长视频。将这些想法应用于视频行动识别的具体任务中，并在 Kinetics，Something-So
PDF3 years ago