Nov, 2021

自我调控学习用于主观视频活动预测

PDF
TL;DR本文提出了一种基于自我调节学习的框架来解决标准递归序列预测在 egocentric 视觉中存在的误差积累问题，同时通过多任务学习进行联合特征学习，明显优于现有的最新技术，可以精确地识别支持活动语义的动作和对象概念。
future activity anticipationegocentric visionself-regulated learningmulti-task learningvideo representation
发现论文，激发创造
  • 通过想象学习预测自我中心动作

    本论文衡量了自主驾驶和机器人等实际应用中关键领域的动作预测任务。为了更准确的预测未来的动作，提出利用未观察的帧的标志挖掘做出预测，利用 ImagineRNN 将动作预测分解为一系列未来功能预测，并通过代理任务和残差预测进一步改进模型。

    Jan, 2021

  • 重新思考长期行动预测的学习方法

    ANTICIPATR 模型使用 segment-level representations 和 video-level representation 进行时间跨度较大的 action anticipation 任务，能够直接预测未来一段时间的行为实例。在 Breakfast、50Salads、Epic-Kitchens-55 和 EGTEA Gaze+ 数据集上得到了较好的结果。

    Oct, 2022

  • 儿童视角下的自我监督学习视频表征

    从儿童的视觉经验中，可以通过高度通用的学习算法来学习他们对世界的强大内部模型，这包括长期记录的视频数据集和自我监管学习算法，而无需强烈的归纳偏差。

    Feb, 2024

  • 基于第一人称视频的动作预测的滚动展开 LSTM

    本文提出了一种基于 Rolling-Unrolling LSTM、序列完成预训练技术和 Modality ATTention 机制的方法来预测自我中心视频中未来的行动和交互对象，并在 EPIC-Kitchens、EGTEA Gaze + 和 ActivityNet 数据集上验证了其有效性。

    May, 2020

  • 流媒体视频中的自监督式多角色社交活动理解

    在这项研究中，我们提出了一种基于多演员预测学习的自监督方法，用于流媒体视频中的社交活动识别。通过使用视觉语义图结构，我们对社交互动进行建模，从而实现了关系推理，使其在具有最少标记数据的情况下具有鲁棒性表现。该方法在标准群体活动识别基准上取得了竞争性的性能，并通过三个公开可用的动作定位基准的评估证明了其可泛化到任意动作定位的能力。

    Jun, 2024

  • 用语义引导的表示学习实现行动预测

    预测未来活动的任务暴露于固有的未来不确定性和对相互关联动作推理的困难，我们提出了一种能够感知语义互连性的行动表示学习框架（S-GEAR），通过学习视觉行动原型并利用语言模型制定其关系，从而进行语义化。通过在四个行动预测基准上的测试，我们证明了 S-GEAR 相比以前的方法获得了更好的结果，并且有效地将语言到视觉原型之间的几何关联性进行了传递，同时展示了行动语义互连性的复杂影响，开辟了预测任务的新研究领域。

    Jul, 2024

  • 使用时间跳连的自监督视觉规划

    该研究旨在通过直接进行视频预测来实现自监督机器人学习，通过引入具有时间跳转连接的视频预测模型和新颖的规划准则和行动空间公式，研究表明该模型在机器人操作中具有很好的性能。

    Oct, 2017

  • 实时自我中心动作预测：一种评估方案和方法

    为了进行流式自我中心行动评估，我们提出了一种基于前馈 3D 卷积神经网络和知识蒸馏技术的轻量级行动预测模型，该模型基于过去到未来的蒸馏损失进行优化，实验表明，这种预测能力优越的模型以及针对廉价设备的轻量级方法在自我中心行动预测场景中性能更佳。

    Jun, 2023

  • 用 Rolling-Unrolling LSTM 和模态注意力预测以自我为中心的行为

    本研究提出了一种基于 LSTMs 和 Modality ATTention (MATT) 机制的行为预测框架，能够对计算机视觉领域的尺度序列问题进行有效解决，同时在 EPIC-Kitchens 等数据集上表现出色。

    May, 2019

  • 自我先见力：智能体视觉动作预测作为强化学习的规范化方法

    以运动预测为基础的自我监督方法 Ego-Foresight 可提高强化学习算法的效果和性能。

    May, 2024