CVPRMay, 2024

使用运动块探索 Vision Transformers 用于 3D 人体动作语言模型

PDF
TL;DR构建 3D 人体动作与语言之间的跨模态潜空间对于获取大规模高质量的人体动作数据至关重要，然而，与图像数据的丰富相比，动作数据的稀缺限制了现有动作语言模型的性能，为了解决这个问题，我们介绍了 “动作补丁” 的新表示方法，并通过迁移学习，提出使用视觉变换器（ViT）作为动作编码器，旨在从图像域中提取有用的知识并应用于动作域，我们发现通过使用训练 2D 图像数据获得的 ViT 的预训练权重进行迁移学习可以提高动作分析的性能，为解决有限动作数据的问题提供了一个有希望的方向，我们广泛的实验证明了所提出的动作补丁与 ViT 的联合使用在文本到动作检索以及其他新颖的具有挑战性的任务中取得了最先进的性能，例如跨骨架识别、零样本动作分类和人体交互识别，这些任务目前由于数据缺乏而受到限制。
cross-modal latent spacemotion patchesvision transformerstransfer learninglimited motion data
发现论文，激发创造
  • 通过补丁选择实现人体姿势估计的高效视觉变换器

    提出了一种用于减少 Vision Transformers 计算复杂度的简单方法，通过选择和处理最有信息的小片段，我们将二维人体姿态估计网络的结果作为指导进行小片段的选择，实验结果表明这种方法在显著提高速度和减少计算复杂度方面非常有效，而且性能略微下降。

    Jun, 2023

  • PatchBlender：视频 Transformer 的动作先验

    本篇论文尝试解决计算机视觉中 transformers 架构应用在视频数据时遇到的问题，通过引入可学习的混合函数 PatchBlender，使得 transformers 成功编码视频数据的时间组成部分并提升了基础模型性能。

    Nov, 2022

  • Human MotionFormer：基于视觉 Transformer 的人类动作转移

    本论文提出了一种基于全球和本地感知的分层的 ViT 框架 Human MotionFormer，旨在提高人类运动转移中的特征匹配和运动品质，该方法通过多个块的特征匹配和运动传递，实现了全局特征匹配，进一步引入了卷积层来改善局部感知，实现了平移和生成分支之间的协同监督来训练更好的运动表示，取得了最先进的效果。

    Feb, 2023

  • 通过跨模态流形对齐从单眼视频学习人类动作

    该论文介绍了通过视频和 2D 关键点之间的跨模态潜在特征空间对三维人体运动和 2D 输入之间进行运动先验对齐的 Video-to-Motion Generator (VTM)，该方法通过将运动数据分别建模为上半身和下半身，以及使用尺度不变的虚拟骨架与运动数据对齐，展示了在重建单目视频中的三维人体运动方面具有领先水平的表现，尤其是在未见过的视角和野外视频中的泛化能力。

    Apr, 2024

  • MoEmo 视觉变换器：在 HRI 情感检测中整合交叉注意力和运动向量的 3D 姿势估计

    本研究通过使用 MoEmo（Motion to Emotion），一种基于 3D 人体姿势估计的交叉注意力视觉变换器（ViT），以及基于人类姿势和环境背景的人体运动全身视频和相应情感标签的数据集，有效地利用人类姿势 / 姿态的运动向量和环境背景的特征图之间的微妙连接，实现了机器人系统中的情感检测，优于目前的最先进方法。

    Oct, 2023

  • 视觉 Transformer 的引人注目的性质

    本文旨在分析分析 ViT 模型中自注意力机制对于图像处理中的处理噪声和疑问具有的灵活度，并探讨基于形状编码的图像编码方法，以及使用 ViT 以无需像素级监督的方式实现准确的语义分割。

    May, 2021

  • 视网膜视觉变换器 (RetinaViT): 将缩放图块引入视觉变换器

    视网膜视觉转换器（RetinaViT）是从人类视觉系统中汲取灵感，将缩小版本的输入图像的补丁添加到第一个 Transformer 编码器层的输入中。实验结果表明，当在 ImageNet-1K 数据集上进行训练时，RetinaViT 相比原始的 ViT 模型获得了 3.3% 的性能提升，这可能归因于输入中低空间频率成分的包含，从而提高了捕捉结构特征的能力并将重要特征传递给更深的层次，为进一步研究垂直通路和注意模式打开了新的研究方向。

    Mar, 2024

  • 补丁是你所需的全部？

    本文介绍 ConvMixer 模型，它使用标准卷积来混合图像块，并在类似参数计数和数据集大小的情况下胜过 ViT、MLP-Mixer 和一些变种，同时也优于经典的 ResNet 等视觉模型。

    Jan, 2022

  • 视觉 Transformer: 从语义分割到密集预测

    本研究首次探索视觉变换器（ViT）的全局上下文学习潜力以实现密集视觉预测，编码图像作为一系列补丁并学习全局上下文，使 ViT 可以捕获更强的长距离依赖信息，提出的分割转换器（SETR）在 ADE20K 和 Pascal Context 数据集上取得了出色表现，同时提出了一系列分层本地 - 全局转换器，架构由局部关注（在窗口内）和全局关注（跨窗口）构成，对于各种密集预测任务具有吸引人的性能

    Jul, 2022

  • 基于关键帧并行跳跃变换的文本引导下的三维人体动作生成

    提出了一种名为 KeyMotion 的方法，通过生成关键帧并进行填充，实现根据输入文本生成逼真的人体运动序列。通过使用具有 Kullback-Leibler 正则化的变分自编码器（VAE）将关键帧投影到潜空间，来减少维度和加速扩散过程。同时，引入了一种新的并行跳过注意力机制的 Transformer，用于实现关键帧潜向量和文本条件之间的跨模态注意力。通过引入文本引导的 Transformer 进行动作填充，确保运动序列的保真度和遵循人体运动的物理约束。实验证明，该方法在 HumanML3D 数据集上达到了最先进的结果，所有 R-Precision 度量和多模态距离指标均优于其他方法。同时，在 KIT 数据集上也获得了有竞争力的性能，在 Top3 R-Precision、FID 和多样性度量指标上取得了最佳结果。

    May, 2024