Jun, 2024

Ego4D Looking At Me Challenge 的 PCIE_LAM 解决方案

PDF
TL;DR该报告介绍了我们团队在 CVPR2024 的 Ego4D Looking At Me 挑战中的 'PCIE_LAM' 解决方案。我们的方案 InternLSTM 由 InternVL 图像编码器和 Bi-LSTM 网络组成，通过提取空间和时间特征来准确确定场景中的人是否面向佩戴摄像头的摄像机。鉴于此任务中存在的面部图像模糊问题，我们采用了 Gaze Smoothing 滤波器来消除噪音或波动，并在挑战中获得了第一名，mAP 为 0.81，准确率为 0.93。代码可在链接中访问。
pcie_lamego4d looking at me challengeinternlstmgaze smoothingface image blurring
发现论文，激发创造
  • LAEO-Net: 重新审视视频中的人们互相注视

    本文基于 LAEO-Net 提出了一种新的深度 CNN 模型用于检测人们的相互凝视，将空间时间轨迹作为输入，由三个分支构成，分别针对每个角色的追踪头部和相对位置。通过实验证明该模型在分析人们的社交关系中可以成功地确定两个人是否进行相互注视以及注视的时间窗口，达到了最先进的技术水平。

    Jun, 2019

  • InternVideo-Ego4D: Ego4D 挑战的优胜解决方案包

    本文使用 InternVideo 模型在 Ego4D 的 5 个任务中取得了优异的表现，包括 Moment Queries、Natural Language Queries、预测未来的手部动作、目标检测和短期目标交互预测。该模型适用于下游的自我中心视频理解任务，性能显著优于基线方法和 CVPR2022 的冠军，表现出其强大的表示能力。

    Nov, 2022

  • 在第三人称视频中识别第一人称摄像头佩戴者

    本文提出了一种新的半孪生卷积神经网络架构，以解决第一人称和第三人称视频之间的人物层面的对应关系问题，在关注联合场景理解，物体追踪和活动识别方面有显着的性能提升。

    Apr, 2017

  • 在自我中心的照片流中检测社交互动

    本文提出了一种利用鸟瞰视角下与用户的距离和方向特征识别社交互动的算法，将相应的时空序列输入长短记忆循环神经网络进行分类，并在 3 万张照片的数据集上进行了实验验证，取得了良好的效果。

    May, 2016

  • ReLER@ZJU-Alibaba 参加 Ego4D 自然语言查询竞赛 2022

    使用多尺度跨模态 Transformer 和视频帧级对比损失来解决 Ego4D 自然语言查询挑战问题，该方法在排行榜上排名第一。

    Jul, 2022

  • 2022 年 YouTube-VIS 长视频挑战赛亚军方案

    本文介绍了我们参加 ECCV 2022 YouTube-VIS 长视频挑战赛的第二名的解决方案。我们采用了之前提出的在线视频实例分割方法 IDOL，并使用伪标签进一步帮助对比学习，以获取更多时间一致的实例嵌入，以提高帧之间的跟踪性能。所提出的方法在 YouTube-VIS 2022 长视频数据集上获得了 40.2 的 AP，并在该挑战赛中排名第二。我们希望我们的简单有效的方法能够有益于进一步的研究。

    Nov, 2022

  • 探索基于 Anchor 的自我 4D 自然语言查询检测

    本文提供 CVPR 2022 中 Ego4D 自然语言查询挑战的技术报告，针对当前自然语言查询任务使用第三人称视角数据集，未涉及目前使用第一人称视角数据集（例如 Ego4D）面临的较小时间跨度和更复杂的视频理解问题，论文提出解决这些问题的方案。

    Aug, 2022

  • 基于自我中心照片流的社交风格特征刻画

    该论文提出了一种使用可穿戴照相机实现自动社交模式刻画的系统，其中通过检测与相机佩戴者互动的人，并将检测到的社交互动分类为正式和非正式两个步骤，在事件级别上对每个潜在的社交事件进行建模，并使用 LSTM 网络进行时间序列分类。最终通过聚类同一个人在整个社交互动集中的出现来全面理解用户的社交关系的多样性和频率。实验表明，该系统应用于自我中心的照片流上的社交模式刻画任务取得了有望的结果。

    Sep, 2017

  • 卷积长短时记忆网络用于识别第一人称交互

    本研究提出了一种基于深度学习的新方法，用于解决从第一人称视角识别互动的问题，其通过一对卷积神经网络提取视频连续帧的特征，然后使用卷积长短时记忆将这些特征进行聚合，最后采用分类算法对记录下的镜头进行分类识别。

    Sep, 2017

  • LifelongMemory: 利用 LLM 为参照视频中的问题提供答案

    通过使用多个预训练模型从广泛的自我中心视频内容中回答查询，本研究引入了 LifelongMemory，这是一种利用大型语言模型和视觉语言模型的新框架，以解决在复杂的视觉语言任务中捕捉长距离时间依赖关系的问题。

    Dec, 2023