CVPRMay, 2024

粗细选取：无需标签识别动作终止状态

PDF
TL;DR我们研究了在图像中识别动作的结束状态的问题，重点是预测切割的粗细，通过合成训练数据的方法进行数据增广，使用基于 UNet 的模型进行训练，并且成功地识别了切割动作的结束状态，展示了模型在训练和测试之间的领域转化，并且对未知对象具有良好的泛化性。
end state recognitionaction recognitioncoarseness predictiondataset augmentationdomain adaptation
发现论文，激发创造
  • 从未修剪的网络视频中学习对象状态和状态修改动作寻找变化

    本文提出一种自我监督的模型，能够在长视频中联合学习目标物体的状态（例如，空杯子和满杯子）及其相应的状态变化行为（如 “倒咖啡”），并针对噪声数据和未筛选的视频数据分别采用噪声自适应加权模块和新的视频数据集进行监督训练，并在目标动作和物体状态识别方面都实现了相当大的进步。

    Mar, 2022

  • 基于 RNN 的粗细建模弱监督动作学习

    本文提出了一种弱监督学习的方法，结合判别子动作的表示和粗略概率模型，应用于人类行为的动作检测和分类任务中，并在两个基准数据集上进行了评估，展现了在多个弱监督学习任务中的良好性能。

    Mar, 2017

  • 通过从网络图像的域转移，在视频中对细粒度动作进行时间本地化

    本研究采用弱监督和跨领域转移学习的方法，结合深度卷积神经网络和长短时记忆网络，实现从未剪辑的网络视频中，对于精细的动作定位识别，并使用大量的数据集如 FGA-240 和 THUMOS 2014，得到了令人信服的结果。

    Apr, 2015

  • 基于层级原子动作的细粒度视频弱监督时序动作检测

    本文提出一种弱监督的方法来检测细粒度视频动作，通过自我监督聚类获取可重复和自动发现的原子动作集合，并结合语义标签层次将原子动作映射到细粒度和粗粒度行动标签，最终构建了四个层次的视频可视化表示层次，在两个大型数据集上实验表明该方法在细粒度动作检测方面取得了最优性能。

    Jul, 2022

  • 粗细深度特征融合和异步融合的行为识别

    本文提出了一种用于动作识别的新型基于深度学习的框架，采用精确特征提取和信息流异步融合技术来提高识别精度，并在行动识别基准测试中取得最先进的性能。

    Nov, 2017

  • 切割与学习：识别和生成物体状态组合

    本文研究了识别和生成物体状态组合的挑战性任务，特别是在推广到未知组合时。我们提出了一个新的基准套件 Chop & Learn，以适应使用多个视角学习物体和不同切割风格的需求。我们还提出了一项新的组合图像生成任务，可以通过生成新的物体状态图像将学习到的切割风格转移到不同的物体上。此外，我们还使用视频进行组合动作识别，并展示了该数据集在多个视频任务中的有价值的应用。

    Sep, 2023

  • 一种通过姿势引导的粗到细框架进行部件级动作解析的方法

    该研究提出了一种用于行动识别的粗到细框架，旨在预测视频级别的行动，并识别视频中每个人体部分的帧级细粒度操作或交互，通过 Kinetics-TPS 的全面实验，该框架取得了最先进的性能，在 31.10％的 ROC 得分上优于现有方法。

    Mar, 2022

  • 空间 - 时间判别滤波器组的动作识别

    本文提出一种改进卷积神经网络 (CNN) 网络的末层以提高动作识别的表征能力，通过对细节的敏感度提升，实现对 Kinetics-400 和 Something-Something-V1 数据集的最优表现。

    Aug, 2019

  • 物体状态和操作行为的联合发现

    该研究提出一个联合模型，通过视频分析自动发现对象状态和相关的操作行为，模型使用判别聚类成本和约束来学习识别、定位对象状态和对它进行操作的动作，并且不需要额外的监督。通过将对象状态发现与操作识别相结合，取得了良好的实验效果。

    Feb, 2017

  • FineAction：用于时间动作本地化的细粒度视频数据集

    开发了一个新的大规模、细粒度视频数据集 FineAction，共包含 106 个动作类别的 103k 个时间实例，在 17k 个未修剪的视频中进行了注释，用于对时间动作定位进行基准测试，并深入分析了细粒度实例对时间动作定位的影响。

    May, 2021