Jun, 2023

基于风格转移的语音和视觉场景理解，用于机器人从视频中获取操作序列

PDF
TL;DR本文介绍一种从指令视频中生成机器人动作序列的方法，用于实现人机协作，并展示了该方法在各种烹饪动作中的成功率达到 32%。
发现论文，激发创造
  • 一次即视视觉模仿的变形金刚

    本文介绍了一种使用神经网络和 Transformer 注意机制的方法，通过向机器人展示上下文视频来缩小机器人学习中的领域差距，并实现了对单次操作任务的 2 倍成功率提升。

    Nov, 2020

  • 基于语言文本的弱监督动作学习

    本文提出了一种基于弱监督学习的人类行为学习方法，通过视频的文字形式来推断其中涉及的行为，并能在没有帧级别标注的情况下学习相关的行为模型；该方法在四个活动数据集上进行了评估，证明了其高效性和竞争力。

    Oct, 2016

  • Vid2Robot: 基于跨引注意力变形器的端到端视频条件策略学习

    通过观察人类行为并将其翻译成可执行的动作，本研究介绍了一种基于视频学习的机器人框架 Vid2Robot，它通过训练机器人模型利用人类视频和机器人轨迹数据集进行任务执行。该模型利用交叉注意力机制将提示视频特征融合到机器人的当前状态中，并生成能够模仿所观察任务的适当动作，大幅提升执行效果，同时显示着在真实世界应用中的潜力。

    Mar, 2024

  • 由音频叙述引导的弱监督行为检测

    提出了一种基于多模态学习和叙述监督的视频检测模型，可以从嘈杂的音频叙述中学习动作检测，从而降低标注的费用。

    May, 2022

  • 复杂操作动作视频的多句描述

    提出了一种混合统计和端到端框架来解决视频描述中细节级别、操作行为和层次结构的问题，并且定量结果表明这些方法产生的描述比其他竞争方法更真实。

    Nov, 2023

  • GenHowTo: 从教学视频中学习生成动作和状态转换

    生成具有时间一致性和物理可行性的行为和物体状态转换的图像，利用视频数据集和条件扩散模型 GenHowTo，在各种对象和动作上展示出优秀的性能。

    Dec, 2023

  • Speech2Action：跨模态监督下的行为识别

    本研究使用 BERT 基于对电影剧本的分析，研究了语音的文字转录以及行动之间的关联，训练了一个 Speech2Action 分类器，并在 188M 个片段的不带标签的电影语音数据上应用了该模型，获得了超过 800K 个视频片段的弱标签，最终通过使用这些标签标记的数据进行训练，在不使用单个手动标记行动示例的情况下，在标准动作识别基准测试上展现出卓越的行动识别表现。

    Mar, 2020

  • 面向语言驱动视频动作定位的实体感知和动作感知 Transformer

    本文提出了一种利用实体感知和动作感知的转换器，通过文本实体及动作查询逐步地定位视频中的动作定位。实验表明，相比于现有方法，我们的方法在动作定位的精度上具有优势。

    May, 2022

  • TEACH：针对 3D 人体的时间动作组合

    利用 BABEL 动作文本集合，设计了一种基于 Transformer 的 TEACH 方法，能够根据自然语言描述生成符合语义的 3D 人体动作，实现由多个动作组成的时间动作构成。

    Sep, 2022

  • 通过密集对应学习从无行为视频中行动

    通过使用图像作为任务非特定的表示，编码状态和动作信息，以及使用文本作为设置机器人目标的一般表示，我们提出了一种构建视频机器人策略的方法，可以在没有使用任何动作注释的情况下，从少量视频示例中可靠地执行不同机器人和环境中的各种任务。

    Oct, 2023