Jun, 2024

CYCLO: 高空视频中多物体关系建模的循环图变换方法

PDF
TL;DR本文介绍了 AeroEye 数据集，该数据集专注于无人机视频中的多对象关系建模，并提出了一种名为 CYCLO 的新颖循环图变换模型，该模型能够在更新历史交互的同时捕捉直接和远程的时间依赖关系，并能够正确地处理对象关系的顺序，从而实现了对无人机视频的场景理解，并在两个实景图生成评估上取得了最先进的结果。
发现论文，激发创造
  • 自适应视觉场景理解：增量场景图生成

    通过引入包含三个学习场景和八个评估指标的综合连续场景图生成（CSEGG）数据集，研究深入探索现有的 SGG 方法在学习新对象时对先前对象实体和关系的保留情况，以及连续目标检测如何增强对未知对象上已知关系的泛化性能。

    Oct, 2023

  • 循环就业者：面向多视角 3D 检测和跟踪的对象感知时序表示学习

    我们提出了一个统一的面向对象的时间学习框架，用于多视角三维检测和跟踪任务。通过构建一个循环学习机制以提高多视角表示学习的鲁棒性，使模型预测的信息能够向后传播，从而减小历史帧中与目标无关的区域的响应，降低污染未来帧的风险并提高时间融合的对象感知能力。我们进一步根据循环学习模型，针对跟踪问题定制了一个面向对象的关联策略。所提出的循环学习方法和关联模块共同构成了一个新颖而统一的多任务框架。在 nuScenes 上的实验证明，所提出的模型在检测和跟踪评估上相对于不同设计（如基于密集查询的 BEVFormer，基于稀疏查询的 SparseBEV 和基于 LSS 的 BEVDet4D）的基线模型都取得了一致的性能提升。

    Jul, 2024

  • AUG：一种用于航空图像城市场景图生成的新数据集和高效模型

    该研究构建和发布了一个低视角俯瞰图像的空中城市场景图生成（AUG）数据集，并提出了一种新的保持局部性的图卷积网络（LPG），以解决眼高视角下的图像遮挡问题和全局信息获取的矛盾，在此数据集上的实验证明了 LPG 方法在空中场景图生成中的显著优势。

    Apr, 2024

  • 视频场景图生成的时空知识嵌入 Transformer

    提出了一种将空间 - 时间知识嵌入到多头交叉注意力机制中的空间 - 时间知识嵌入变压器（STKET）模型，用于生成视频场景图并预测语义标签及其关系。经过广泛实验表明，STKET 在不同设置下相对于当前算法的 mR@50 提升了 8.1％，4.7％和 2.1％。

    Sep, 2023

  • 走向场景图预测

    分析了视频中的时空场景图，提出了 SceneSayer 方法，通过对观察到的视频帧进行推理，模拟对象之间关系的演化，并使用神经常微分方程和神经随机微分方程来预测对象之间的未来关系。在 Action Genome 数据集上进行了大量实验验证了该方法的效果。

    Mar, 2024

  • 循环一致性学习用于字幕生成和定位

    我们提出了一个名为 CyCo 的循环一致学习框架，用于连接视觉定位和图像描述，实现二者的协同训练；这个框架不仅允许半弱监督训练视觉定位，而且改善了全监督视觉定位的性能，并且生成了一个通用的图像描述模型，能够描述任意的图像区域。大量实验证明，我们的全监督视觉定位模型达到了最先进的性能水平，半弱监督模型相较于全监督模型也表现出竞争力。我们的图像描述模型能够自由地描述图像区域，并在常见的图像描述评估中表现出了令人印象深刻的性能。

    Dec, 2023

  • 视频中无偏场景图生成

    该研究提出了一个名为 TEMPURA 的框架，通过基于 Transformer 的序列建模，学习合成无偏差的关系表示，并使用高斯混合模型来减少视觉关系的预测不确定性，从而解决视频动态场景的场景图生成中存在的多种问题。该方法在生成更加无偏的场景图方面具有显著的优势。

    Apr, 2023

  • 大规模遥感卫星影像中场景图生成：一个大样本数据集与上下文感知方法

    该研究论文提出了一个面向大尺寸卫星图像的场景图生成方法，构建了一个大规模的 SGG 数据集，通过上下文感知级联认知框架实现了场景图的检测、筛选和关系预测。

    Jun, 2024

  • 半监督视频物体分割中的循环机制探究

    本文介绍了几种解决当前视频对象分割流水线不足之处的方法，包括使用循环机制来产生更加稳健的表示、引入简单的梯度校正模块扩展离线流水线到在线方法以及提出 Cycle-ERF 以分析物体特定区域等，并在挑战性数据集 DAVIS17 和 Youtube-VOS 上进行了全面实验，证明循环机制对分割质量有益。

    Oct, 2020

  • 场景图 ViT：端到端开放词汇视觉关系检测

    通过引入无解码器架构和注意力机制，我们提出了一种简单高效的基于 Transformer 的图像编码器模型，用于开放词汇视觉关系检测，并在 Visual Genome 和大词汇 GQA 基准测试上实现了最好的关系检测性能。

    Mar, 2024