SOS！基于自我监督学习的被处理物体集合在视角动作识别中的应用

Apr, 2022

SOS！基于自我监督学习的被处理物体集合在视角动作识别中的应用

SOS! Self-supervised Learning Over Sets Of Handled Objects In Egocentric Action Recognition

Victor Escorcia, Ricardo Guerrero, Xiatian Zhu, Brais Martinez

TL;DR采用自助学习技术的 “自我监督学习 over sets”(SOS) 方法，从视频数据的对象区域中提取表示对象的图像特征，结合自然数据转换过程中的时空连续性和对象集内在关系，实现了人物自身操作的行为识别，显著提升了多个最先进的视频分类模型的性能。

Abstract

Learning an egocentric action recognition model from video data is challenging due to distractors (e.g., irrelevant objects) in the background. Further integrating object information into an action model is hence beneficial. Existing methods often leverage a generic object detector to

egocentric action recognition object information integration self-supervised learning over sets generic objects in contact (oic) representation model video classification models

发现论文，激发创造

基于条件的视频目标中心学习

该论文提出了一种弱监督学习方法，以对象为中心的表示和光流条件模型，可提高现实数据下的实例分割和追踪效果，改进了查询模型的灵活性，并扩展了应用范围。

Nov, 2021

目标中心动作识别的同时检测和交互推理

基于对象为中心的行为识别中的对象检测与交互推理的一阶段端到端行为识别框架，在提取视频特征的基础网络之后，通过三个模块同时进行对象检测和交互推理，既避免了对现成的对象检测器的严重依赖，也减轻了多阶段训练的负担，实验结果在常规、组合性和少量样本的行为识别任务上表现出色。

Apr, 2024

对比学习中的在线目标表示

该论文提出了一种自监督学习的方法，用于从单目视频中学习物体的表征，并证明其在机器人等实践中具有特殊的用途。

Jun, 2019

以物体为中心的视频表示对长期行动预测

本文旨在建立面向视频中长期动作预测的物体中心表示。我们提出利用视觉 - 语言预训练模型构建物体中心视频表示，通过 “物体提示” 从通用预训练模型中提取任务特定的物体中心表示。我们使用基于 Transformer 的神经架构来识别和预测人 - 物交互，并在 Ego4D、50Salads 和 EGTEA Gaze + 基准测试上进行了广泛评估，定量和定性结果证实了我们提出方法的有效性。

Oct, 2023

面向对象的多目标跟踪

该研究提出了一种视频基于物体为中心的模型，通过适应物体为中心的插槽以及构建完整物体原型来处理遮挡，仅需要稀疏的检测标签进行物体定位和特征绑定，无需 ID 标签，并通过自我监督的期望最大化损失函数实现物体关联，实验证明了该方法在物体为中心的学习领域的卓越性能。

Sep, 2023

视频的自监督目标中心学习

本文提出了第一个完全无监督的方法，用于在真实场景的序列中分割多个对象，通过空间绑定对象并将这些槽联系起来，在高级语义特征空间中重建中间帧，解决了效率和规范化问题，成功地在 YouTube 视频中分割了复杂且多变的类别的多个实例。

Oct, 2023

基于活动的弱监督目标检测

我们的研究工作在弱监督目标检测方面尝试利用不仅仅是物体类别标签，还使用数据中关联的动作标签；我们发现图像 / 视频中描绘的动作可以为相关物体的位置提供强烈的线索，并利用动作学习了一个与物体相关的空间先验，并将其融入到联合目标检测和动作分类模型中进行同时训练。我们在视频数据集和图像数据集上进行了实验来评估我们的弱监督目标检测模型的性能，结果表明，在 Charades 视频数据集上，我们的方法在 mAP 上比当前最先进的方法提高了 6% 以上。

Apr, 2019

用少数标注实现机器人实例分割技术来抓取物品

该研究提出了一种将半监督学习与通过互动学习相结合的新方法，通过观察场景变化学习和利用视觉一致性，从而实现对物体的操作。在两个基准测试中验证了该方法，取得了卓越的性能。

Jul, 2024

助力之手：一种物体感知的自我中心视频识别模型

引入一种面向对象的解码器，通过提供手部位置、物体位置以及物体的语义标签的预测任务来增强模型的对象感知能力，以在自我中心视频中提高时空表示的性能。通过在几个下游视频文本检索和分类基准测试中进行强转移和使用学习到的表示来进行长期视频理解任务的输入，证明了我们模型学到的对象感知表示的性能优于现有技术水平，即使与使用更大批次大小进行训练的网络相比也是如此。通过使用嘈杂的图像级别检测作为伪标签进行训练，模型可以通过视频一致性提供更好的边界框，并在关联文本描述中进行词的定位，从而显示出该模型可以作为自我中心视频模型的替代品来通过视觉文本对齐来提高性能。

Aug, 2023

无标签视频中的物体中心表示学习

本研究介绍了一种从未标记的视频中进行无监督学习的新方法，通过引入一种面向物体的时间相干性方法来促进学习具有相似表征的物体，并在多个基准数据集上展示了与竞争无监督方法相比显著的准确度提高。

Dec, 2016