Nov, 2023

无需真实人类学习人体动作识别表征

PDF
TL;DR利用去除真实人类的真实世界视频和包含虚拟人类的合成数据进行预训练，提出了一种新颖的隐私保护多重自编码对齐（MAE-Align）的预训练策略，通过线性探测和微调在下游任务中缩小了人类动作识别表示和非人类动作识别表示之间的性能差距。
发现论文，激发创造
  • 从未见过的视角识别动作的人造人类

    本研究旨在探讨合成人类能否提高人类动作识别的性能，特别关注对不寻常拍摄视角的泛化能力，研究发现数据的合成和扩充可以带来性能的提升。

    Dec, 2019

  • 通过程序生成视频以训练深度动作识别网络

    通过建立一个可解释的参数生成数码，我们使用程序生成和其他现代游戏引擎的计算机图形技术生成了一组逼真、多样化和符合物理规律的人类动作视频，含 39,982 个视频。利用 UCF101 和 HMDB51 数据集的实验表明，我们的方法可以通过结合使用大量合成视频和小型真实数据集，大幅提高识别性能，明显优于现有的无监督生成模型的微调。

    Dec, 2016

  • 隐私保护深度行动识别：对抗学习框架和新数据集

    本文提出一种带有隐私保护机制的视频动作识别模型，通过敌对训练来寻找能够最佳平衡目标任务性能与隐私保护程度的匿名转换方法，并给出了两种优化策略以实现对于攻击模型的普适隐私保护。同时，构建了一种全新的视频数据集 PA-HMDB51，为视觉隐私研究提供了有力支持。

    Jun, 2019

  • 通过离散扩散进行大规模无操作视频预训练，实现高效策略学习

    利用人类视频进行预训练，通过有限的机器人演示来转移知识，实现机器人策略学习的通用性体现。

    Feb, 2024

  • 缓解机器人操作中的人机领域差异问题

    利用人机视频数据进行对齐来适应预先训练模型到机器人领域，在多个任务中实现了显著的成功率提升。

    Jun, 2024

  • 无人参与的人类行为识别

    本文提出了一种新的人类行为分析概念，即 “无人干预下的人类行为识别”，为了理解行为标签，我们考虑了背景序列对于分类当前大规模行动数据集中的人类动作的影响。通过研究多种精巧的运动表征，我们探讨了一些特征从背景中提取可能过于强。

    Aug, 2016

  • 通过将 3D 游戏引擎和概率图模型相结合生成人类动作视频

    本文提出了一种基于过程生成、物理模型和现代游戏引擎组件的人体运动视频生成方法，它可以生成一个包含 39,982 个视频的数据集，其中包括 35 个不同的动作类别。通过结合小的真实数据集，我们的方法可以显著提高视频行为识别性能，即使这些数据集的动作类别不同。

    Oct, 2019

  • HumanBench: 采用投影助推训练方法实现通用的以人为中心感知

    该研究提出了一个基于广泛应用的数项任务，即人类中心感知和下游任务的普适性预训练模型，同时提出了一个基于数据集的综合评估方法 HumanBench 和一种细粒度知识预训练方法 PATH。实验结果表明，PATH 在 17 个下游数据集上达到新的最优结果，在其他两个数据集上与最好的结果相当。

    Mar, 2023

  • 为什么我不能在商场跳舞？学习减缓动作识别中的场景偏见

    我们提出了一种减轻场景偏差从而实现视频表示学习的方法，通过在行动分类的交叉熵损失中增加场景类型的对抗性损失和关于人类角色面罩混淆的损失，来鼓励学习能够在没有证据时无法预测场景类型和正确的行动的表示。我们的结果表明，相对于没有进行去偏置处理的基准模型，我们的预训练模型在行动分类、时间定位和时空行动检测等三个不同任务上均得到了一致的提升。

    Dec, 2019

  • 视频动作识别的大规模弱监督预训练

    使用大量网络视频进行预训练能够显著提高三个具有挑战性的公共行动识别数据集的性能，并对弱监督视频行动数据集的构建进行了深入研究。

    May, 2019