human actions | BriefGPT - AI 论文速递

关键词human actions

搜索结果 - 29

MeMSVD: 使用增量 SVD 捕捉长程时域结构
这篇研究论文讨论了长期视频理解的问题，提出了一种基于低秩逼近的方案来解决注意力机制的复杂性和内存存储问题，并通过大量实验验证了该方案在不同架构和任务上的优越性。
PDF23 days ago
基于骨骼的带有噪声标签的人体动作识别
理解人体姿势的行为对于与人类共享空间的辅助机器人来说是至关重要的，为了能够对下一次交互做出明智和安全的决策。然而，准确的时间定位和标注活动序列是耗时的，而且结果往往带有噪声。本研究通过将骨架动作识别方法与来自多个研究领域的标签去噪策略相结合
PDF4 months ago
检索增强的视觉第一人称视频字幕生成
从第一人称视角的视频中理解人类行为面临着重要挑战。本文提出了 EgoInstructor 模型，它能够自动检索语义相关的第三人称指导视频，以增强第一人称视频的视频字幕生成。通过对不同规模的第一人称和第三人称数据集进行自动配对来训练跨视角检索
PDF6 months ago
灵活计数：野外人类动作范例识别与小样本计数
本研究通过使用可穿戴设备的传感器数据来计算人类感兴趣的动作的数量，提出了一种新颖的基于样例的框架，允许用户通过发出预定义声音 ''one''、''two'' 和 ''three'' 来提供所需计数的样例。我们的方法首先从音频序列中定位这些话
PDF6 months ago
CAST: 视频动作识别中的时空交叉注意力
我们提出了一种新的双流架构，称为 Cross-Attention in Space and Time (CAST)，它使用 RGB 输入实现了对视频的平衡的时空理解。我们的提出的瓶颈交叉注意机制使得空间和时间专家模型能够交换信息并进行协同预
PDF7 months ago
GPT-4V (ision) 用于机器人：来自人类演示的多模态任务规划
我们介绍了一种通过整合人类动作观察来增强通用视觉语言模型 GPT-4V (ision) 的流水线，以促进机器人操纵。该系统分析人类执行任务的视频，并创建包含可支配见解的可执行机器人程序。实验表明，该方法在实现从人类示范中的真实机器人操作方面
PDF7 months ago
一种视频动作检测的语法组合模型
基于语法组合模型的行为检测方法可以有效地分析视频中的人类行动，提高模型的解释性和优化效果。
PDF9 months ago
CVPR基于 4D 骨骼增强的上下文感知序列对齐
本文提出了一种新的上下文感知自监督学习架构（CASA）, 该架构基于现成的人体姿态估计器，以解决视频中人类动作时间对齐的问题。CASA 通过引入自注意力和交叉 - 注意机制，结合人类活动的时空上下文，有效地解决了时间间断性的问题，并通过 4
PDF2 years ago
MM使用人类动作构建视频语言数据集进行多模态逻辑推理
介绍了一个新的包含人类行为的视频和语言数据集，该数据集专注于描述动态人类动作的故事意图和局限性表达式，该数据集预计对评估包括否定和量化在内的复杂语句与视频之间的多模态推理系统非常有用。
PDF3 years ago
使用 wikiHow 进行视觉目标 - 步骤推理
介绍了可视化目标 - 步骤推理 (VGSI) 任务，通过从 wikiHow 中获得的包括 772,277 幅人类行为图像的新数据集，展示了该任务对于最先进的多模态模型来说具有挑战性，同时表明从我们的数据中学到的多模态表征可以有效地转移到其他
PDF3 years ago
用于识别和定位未见过行为的对象先验
本研究提出了一种无需标注视频训练样例来对人类行为在视频中进行分类和空间 - 时间定位。该方法基于物体信息进行分类和定位，引入了三种空间物体先验和三种语义物体先验，并将二者合并为视频嵌入来进行新的视频检索任务，该任务可基于用户指定的对象、空间
PDF3 years ago
LEMMA：学习多智能体多任务活动的多视角数据集
介绍了 LEMA 数据集，通过密集注释原子动作和人 - 物互动，为日常活动的组成性，调度性和分配性提供了地面真实性，进一步设计了具有基线模型的具有挑战性的组成动作识别和动作 / 任务预测基准，旨在推动机器视觉社区研究真实世界中的人类目标导向
PDF4 years ago
AVA-Kinetics 本地化人类行为视频数据集
该论文介绍了 AVA-Kinetics 本地化人类行为视频数据集，其中包含超过 230k 个帧，对每个人的关键帧进行了 80 个 AVA 动作类的注释，通过视频行动变换网络在 AVA-Kinetics 数据集上进行了基线评估，并证明了在 A
PDF4 years ago
ICLRMetaPix: 少样本视频重定向
使用元学习实现个性化无监督转化行为的普适解码器。
PDF5 years ago
ACL生活方式视频中可见行为的识别
本研究关注于在线视频中可见的人类行为的识别，提出一种多模态算法，利用视觉和语言线索自动推断视频中哪些行为可见，并通过人工标注数据集进行验证，结果表明该算法的表现优于单一模态算法。
PDF5 years ago
弱监督高斯网络用于动作检测
提出一种新的方法 WSGN，使用弱监督学习从视频中标注人类动作，包括视频级别标签，通过学习视频特定以及数据集范围内的统计信息来预测每个帧对于动作类别的相关性，可在两项标准测试中显著提高动作检测效果并且在 Charades 数据集上弱监督方法
PDF5 years ago
CVPR视频动作转换网络
本文介绍了行动转换器模型用于识别和定位视频剪辑中的人类动作，使用 Transformer 风格的架构聚合人物周围的时空背景特征，通过高分辨率、个性化、类别不可知的查询，该模型自动学习跟踪个人并从他人的动作中获取语义上下文
PDF6 years ago
基于部分特征的图卷积神经网络用于动作识别
本文提出了一种基于部件图卷积网络的人体动作识别模型，该模型将骨骼图分为四个子图，并使用相对坐标和时间位移代替 3D 关节点特征，相对于使用整个骨骼图的模型，能够提高识别性能，实现了对挑战性基准数据集 NTURGB+D 和 HDM05 的骨骼
PDF6 years ago
建模时空人体轨迹结构用于动作定位
本文提出了一种基于循环定位网络（RecLNet）的视频人类行为的时空定位方法，能够显著提高人类行为的时空定位效果，尤其在时间定位方面的改进表现较好，已在 UCF101-24 和 DALY 两个数据集上进行了评估。
PDF6 years ago
深度表示学习在动作识别方面的启示
通过可视化两流模型学习识别视频中人类动作所获得的深度时空表示，我们揭示了一些关键的观察结果，例如交叉流融合可以让网络学习到真正的时空特征，而不是简单的外观和动作特征，同时我们发现可视化不仅可以揭示学习到的表示，还可以说明系统失效的原因。
PDF6 years ago