video transformer | BriefGPT

关键词video transformer

搜索结果 - 11

文本输入模态对动作预测效果的研究
我们提出了一种多模态预测变压器（MAT）架构，它使用来自多模态特征和文本字幕的信息来预测未来的动作。通过对预训练阶段的动作描述和模态特征融合期间检测到的对象和动作的文本输入进行扩展实验，我们评估了预训练阶段的有效性，并在所有数据集上展示了我
PDF5 months ago
HaltingVT: 适用于高效视频识别的自适应停止令牌变换器
在这篇论文中，我们提出了 HaltingVT，一种高效的视频转换器，通过自适应地删除多余的视频补丁令牌，显著降低了计算成本。此外，我们设计了一种有效的运动损失函数，在训练期间进一步鼓励 HaltingVT 专注于视频中的关键动作相关信息。通
PDF6 months ago
eMotions：一份用于短视频情绪识别的大规模数据集
现今，短视频对于信息获取和分享至关重要。鉴于短视频情感数据的缺乏，我们介绍了一个大规模的数据集，名为 eMotions，包含 27996 个视频。我们通过优化人员分配和多阶段注释来减轻主观因素对标签质量的影响。另外，我们通过有针对性的数据采
PDF7 months ago
多模视觉 - 语言整合的多模视频变压器与大脑 (部分) 对齐
我们通过利用脑科学证据来探索预训练的多模态视频变换器模型，发现视觉增强了与语言处理中的遮蔽预测性能，支持模型中交叉模态表示可以受益于个体模态，但未发现与大脑相关的信息，我们展示使用一个需要视觉 - 语言推理的任务，可以改善预训练联合表示的脑
PDF8 months ago
内窥镜视频分析基础模型：大规模自监督预训练
本文介绍了一种可以应用于内窥镜视频分析的基础模型 Endo-FM，其使用全局和局部视图进行自监督下预训练，并能够通过微调来应用于不同任务，其优于当前的自监督预训练和适配器转移学习方法。
PDFa year ago
ECCV具有时间平滑 Transformer 的实时在线视频检测
通过在视频变压器的跨关注点中引入核的角度并应用两种时间平滑核，重新定义流式视频识别模型，拥有常数时间更新每帧的优势，在 THUMOS'14 和 EPIC-Kitchen-100 数据集上取得了最新的成果。
PDF2 years ago
AAAI利用视频转换器进行瞬时生理估计
本文提出了一种基于视频 Transformer 的方法，从面部视频中估计瞬时心率和呼吸率，并在大规模 Vision-for-Vitals 基准测试中取得优异表现，尤其在瞬时呼吸率估计方面超越了基于浅层和深度学习的方法。
PDF2 years ago
基于 Transformer 的音视频前端技术为单人和多人视频实现语音识别
本文提出使用视频变压器替换三维卷积进行视觉特征提取，从而提高音频 - 视觉自动语音识别的性能，并在大规模的 YouTube 视频语料库以及 LRS3-TED 公共语料库上进行了评估。实验结果表明，该方法在 LRS3-TED 上取得了国际领先
PDF2 years ago
VIOLET: 基于端到端视频 - 语言变换器的遮蔽视觉令牌建模
VIOLET 是一个采用视频变换器来显式建模视频输入的全尺寸端到端视频语言变换器，通过设计一个新的预训练任务 Masked Visual-token Modeling（MVM）进行更好的视频建模，综合分析证明了其显式时间建模和 MVM 的有
PDF3 years ago
基于视频 Transformer 的 Deepfake 检测与增量学习
本文提出了一种基于增量学习的新型视频转换器，通过使用三维脸部重建方法来生成来自单个输入脸部图像的 UV 纹理，提取图像特征，并在较少的数据上精调该模型以实现更好的深度欺骗检测表现。
PDF3 years ago
ICCVVidTr: 不使用卷积的视频 Transformer
通过可分离的注意力机制，利用堆叠的注意力聚合时空信息，高效地实现了视频分类、时空建模以及长期时间推理，并通过优化模型提高了模型效率与性能。
PDF3 years ago