Jun, 2024

ReCon1M: 一个大规模用于远程感知图像关系理解的基准数据集

PDF
TL;DR在本研究中，我们介绍了第一个公开可用的大规模、百万级别关系数据集，名为 ReCon1M，用于遥感图像领域。该数据集建立在 Fair1M 的基础上，包括 21,392 张图像，859,751 个不同类别的目标边界框的注释，以及基于这些边界框的 1,149,342 个关系三元组注释。我们对该数据集进行了两个目标检测任务和三个 SGG 子任务的评估，对主流方法在这些任务上的性能进行了分析。
scene graph generationremote sensing imagessgg benchmarklarge-scale datasetobject detection
发现论文，激发创造
  • 大规模遥感卫星影像中场景图生成：一个大样本数据集与上下文感知方法

    该研究论文提出了一个面向大尺寸卫星图像的场景图生成方法，构建了一个大规模的 SGG 数据集，通过上下文感知级联认知框架实现了场景图的检测、筛选和关系预测。

    Jun, 2024

  • SkySenseGPT：用于遥感视觉语言理解的细粒度指令调整数据集和模型

    通过 FIT-RS 数据集，提出了一种用于远程感知的大规模指令调整数据集，通过评估复杂关系理解能力并建立 FIT-RSRC 基准，以 FIT-RSFG 基准为依据，提出了 SkySenseGPT 模型来增强远程感知大规模细粒度数据源与关系理解能力。

    Jun, 2024

  • RSI-CB: 基于众包数据的大规模遥感图像分类基准

    使用众包数据，本文基于深度卷积神经网络，构建了一个远程遥感图像分类基准测试集，该基准测试集包含两个子数据集，分别为 256×256 和 128×128 像素大小，用于比较与现有基准测试集在手工特征和经典的深度卷积神经网络模型下的表现。

    May, 2017

  • 基于语义指导的大规模因子化遥感图像超分辨率生成扩散先验

    通过利用预训练的生成模型作为先验，结合结构和语义线索，以及提取感知一致的传感器特性并模拟其分布，从而提高遥感影像的超分辨率。实验证明了该方法的卓越性能和广泛适用性。

    May, 2024

  • 图像场景图生成（SGG）基准测试

    本研究发展了基于 maskrcnn-benchmark 和多个流行模型的场景图像生成基准测试，并通过 Visual Genome 和 OpenImages 视觉关系检测数据集的全面研究来评估场景图像生成模型的主要特性，从而为完善图像理解模型提供了可能。

    Jul, 2021

  • 减少偏差的模型生成场景图

    提出了一种基于自学知识的场景图生成模型训练方案，使用两个关系分类器减少标注偏差和稀疏标注造成的影响，并在多个标准场景图生成任务中观察到了显著的相对改进。

    Aug, 2020

  • RS5M：一种用于遥感视觉语言的大规模数据集和基础模型

    本文提出了一种新的框架，包括领域基础模型（DFM），该模型缩小了通用基础模型（GFM）和特定领域下游任务之间的差距，并通过预训练的 VLM 将筛选后的遥感图像与英文描述进行配对，构成了第一个大规模遥感图像 - 文本匹配数据集。在该数据集上的实验结果表明，使用上述数据集和提出的 DFM 方法的零样本分类和视觉语言检索任务的性能都较好，并且 RS Stable Diffusion 模型的训练也取得了成功的结果。

    Jun, 2023

  • 图像语义关系生成

    为解决场景图构建的大量人工成本，提出了一种基于图像语义关系生成的简单有效的图像到文本模型（ISRG），该模型通过将场景图任务分解为两个子任务，即图像分割任务和限制性自回归文本生成任务，极大地降低了场景图的构建成本。在 OpenPSG 数据集上，该模型获得了 31 分，相应地优于强基线 ResNet-50 和 CLIP 16 点和 5 点。

    Oct, 2022

  • RepSGG: 场景图生成中的实体和关系的新表示方式

    提出了一种名为 RepSGG 的新型架构，将场景图生成（Scene Graph Generation）中的实体表示为查询，目标表示为键，并将它们之间的关系表示为查询和键之间的最大注意力权重，从而在提取高度代表性的特征方面具有更细粒度和灵活的表达能力。此外，通过在训练期间基于运行时性能进行仿射变换的策略，对关系的逻辑进行了修改，以鼓励主导类和稀有类之间更平衡的性能，实验结果表明，RepSGG 在 Visual Genome 和 Open Images V6 数据集上具有先进或可比较的性能，且推理速度快，证明了所提方法的有效性和高效性。

    Sep, 2023

  • 物体关系预测的逻辑偏差学习

    通过因果推断进行对象关系预测的场景图生成方法，结合对象增强模块，在 Visual Gnome 150 数据集上取得了有效的实验结果，为决策模型的基础建模提供了巨大潜力。

    Oct, 2023