时间对比网络:从视频中进行自监督学习
该论文提出了一个从多个视角捕捉的无标注视频演示中学习视觉表示的框架,优化了最近提出的自监督学习算法,应用对比学习来增强与任务相关的信息和抑制特征嵌入中的无关信息,验证了所提出的方法在模拟几种机器人任务,包括 pick and place 任务中的应用,评估了学习表示的三个指标:视点对齐,阶段分类和强化学习,在所有情况下,结果都表明与现有方法相比,该方法水平更高,而且训练轮数更少。
Jan, 2022
本文研究了使用自我监督学习来学习连续控制任务的对抗学习方法。通过将多个帧联合嵌入到嵌入空间中,我们扩展了时间对比网络(TCN),从而能够更准确地编码位置和速度属性。我们证明了这种方法在强化学习任务中有效,可以通过仅使用学习到的嵌入作为输入,使用像 Proximal Policy Optimization(PPO)这样的算法来学习连续控制策略。
Aug, 2018
本文提出基于自监督视觉对应学习的模型预测方法,证明了这种方法能够在视觉学习的强化学习中实现明显的性能提升,并通过模拟实验和硬件实验的验证显示出在一些情境下,这种预测模型具有更好的泛化性能。
Sep, 2020
介绍了一种新的自监督对比学习方法,旨在从未标记的视频中学习表示。该方法利用新的约束条件,以建立对时间变换等价的表示,并更好地捕捉视频动态。实验表明,时间等变表示在 UCF101,HMDB51 和 Diving48 的视频检索和动作识别基准测试中实现了最先进的结果。
Dec, 2021
本研究介绍了一种从未标记的视频中进行无监督学习的新方法,通过引入一种面向物体的时间相干性方法来促进学习具有相似表征的物体,并在多个基准数据集上展示了与竞争无监督方法相比显著的准确度提高。
Dec, 2016
提出一种无监督学习框架,利用未标记的数据来学习视频表示,通过学习推断不同视图的三维运动,捕捉视角不变的动作特征,以及增强视角不变特征的学习方法,并在多个数据集上证明该方法对动作识别的有效性。
Sep, 2018
使用深度强化学习隐式地在仿真环境中学习潜在的状态表示,并通过无标签的真实机器人数据将其调整到真实环境中,以实现从像素中执行操作任务。通过序列自监督目标优化对比正向动力学损失,提出了一种更加有效的方法,成功地训练基于视觉的强化学习智能体来堆叠方块。
Oct, 2019
本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征,通过训练神经网络来区分不同的时间变换的视频序列,使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明,可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。
Jul, 2020
通过自我监督学习利用时空关系进行姿态嵌入的深度卷积网络,包括时序和空间任务,在数据采样中利用一种课程学习方法,并挖掘单个视频中的重复姿态,以提高姿势估计和检索效果。
Aug, 2017