May, 2023

建模空间 - 时间交互以进行组合动作识别

PDF
TL;DR该研究提出组合动作识别的方法，并使用时空交互编码器捕捉人体 - 物体之间的交互作用并将其与视频信息相结合。该方法在多个数据集上获得了先进的性能，表明显式地对人体 - 物体之间的交互行为建模是有效的。
compositional action recognitioninteractionscontext-infusedspatial-temporal interaction encoderhuman-object interactions
发现论文，激发创造
  • 空间时态交互网络的组合动作识别

    本文提出一种新颖的机器学习模型，通过对主体 - 对象交互的动态学习来探究行为的组成性。该模型能够精确推理组成对象的几何关系和动作代理之间的关系，具有较好的应用前景。在使用 Something-Something 数据集进行训练时，我们提出了一种新的组合性行为识别任务，成功验证了该模型的有效性。

    Dec, 2019

  • 学习潜在的时空组合模型用于人类动作识别

    通过构建表达力强的组合行为模型，模拟视频中动作实例的时空组合，采用弱监督学习算法，识别行为的潜在结构，最终实验结果表明该方法在动作识别方面的表现优于竞争方法。

    Feb, 2015

  • 重新审视时空布局以进行组合行为识别

    本文研究了基于物体的方法解决动作识别问题，提出了一种基于多头注意力的配置分析方法，证明将布局信息与外观信息相结合可以提高方法的识别准确率。

    Nov, 2021

  • 一种视频动作检测的语法组合模型

    基于语法组合模型的行为检测方法可以有效地分析视频中的人类行动，提高模型的解释性和优化效果。

    Oct, 2023

  • 语义控制下的人 - 场景交互合成

    本研究提出了一种名为 COINS 的生成模型，可以在高级语义规格的控制下合成 3D 场景内与虚拟人之间的自然互动，该模型通过编码统一的潜在空间和位置编码来嵌入互动语义，并可以自然地合成多个对象之间的组合互动，实验结果表明该模型可以合成具有语义控制的真实人 - 场景交互。

    Jul, 2022

  • TEACH：针对 3D 人体的时间动作组合

    利用 BABEL 动作文本集合，设计了一种基于 Transformer 的 TEACH 方法，能够根据自然语言描述生成符合语义的 3D 人体动作，实现由多个动作组成的时间动作构成。

    Sep, 2022

  • 动作基因组：将动作视为时空场景图的组合

    介绍了一种将行为分解为时空场景图的表示法，通过将场景图作为时空特征库引入现有的行为识别模型中，取得了更好的表现，同时也说明了分层事件分解的效用，从而实现了少样本行为识别，并在新的时空场景图预测任务上对现有的场景图模型进行了基准测试。

    Dec, 2019

  • 基于 Transformer 的人物 - 对象交互检测中的组合学习

    人物 - 物体互动（HOI）检测是理解人类活动和视觉场景的重要组成部分。本研究通过引入 transformer-based 框架，重新组合不同 HOI 实例中的人物 - 物体对表示和互动表示，从而获得更丰富的上下文信息，提高知识的泛化能力，并实现一种简单而有效的方法，其在稀有 HOI 类别上表现出卓越的性能。

    Aug, 2023

  • 交互感知触发的零样本时空动作检测

    本文通过使用预训练的视觉 - 语言模型提取图像和文本特征，以及对这些特征进行建模，最终实现零样本的时空动作检测。实验结果表明，本文的交互模块和提示使得视觉 - 语言特征更好地对齐，从而实现了优秀的检测准确率。

    Apr, 2023

  • 多层特征交互融合的组合式活动识别

    本文提出了一种新颖的框架，通过交互式融合，即将不同空间的特征进行投影并使用辅助预测任务进行引导，实现了语义信息、位置信息和外貌信息的融合，从而实现了复杂动作的识别，并在两个数据集上进行了验证，取得了比通用识别算法更好的结果。

    Dec, 2020