Mar, 2024

LuoJiaHOG：一种面向层次化地理感知的遥感图像 - 文本检索数据集

PDF
TL;DR通过介绍一个包含图像标注数据集 LuojiaHOG 和基于 CLIP 的图像语义增强网络 CISEN，本研究致力于促进遥感图像与文本的准确对齐，从而在图像和文本之间实现准确的关键信息检索。
image-text retrievalluojiahogcisengeospatial-awarevision-language models
发现论文，激发创造
  • 用于标题和检索遥感图像的大规模语言模型

    本研究提出了 RS-CapRet，一种远程感知任务的视觉和语言方法，主要用于图像字幕生成和文本 - 图像检索。通过对远程感知图像进行对比性语言 - 图像预训练，我们将高性能大型解码器语言模型与适应远程感知图像的图像编码器结合使用。RS-CapRet 能够为远程感知图像生成描述，并能够根据文本描述检索图像，以实现与现有方法相媲美的性能。定性结果表明，RS-CapRet 能够有效利用预训练的大型语言模型描述远程感知图像，并能够处理图像和文本的交错序列对话。

    Feb, 2024

  • 图像字幕层次分析

    该论文提出了一种基于分层结构的图像编码器，通过将图像分解为实例级别、区域级别和整体级别的层次结构，引入了分层解析（HIP）架构，大大提高了基于神经网络的图像描述性能，结合图卷积网络（GCN）可以进一步提高描述性能。

    Sep, 2019

  • CLIM：用于区域表示的对比性语言 - 图像拼贴

    通过大规模的图像 - 文本对，借助 CLIM 方法实现区域与文本表示的对齐，改进开放词汇物体检测方法并加强视觉 - 语言模型的区域表示，提供更强实力的骨干，实验结果表明 CLIM 在 OV-COCO 和 OV-LVIS 基准上极大改进不同的基线系统。

    Dec, 2023

  • MetaSegNet: 基于元数据协同的视觉语言表示学习用于遥感图像语义分割

    我们提出了一种基于视觉 - 语言表示学习的元数据协作多模态分割网络（MetaSegNet），该网络用于遥感图像的语义分割，并展示了卓越的泛化性能和与现有方法相竞争的准确性。

    Dec, 2023

  • 卫星字幕：大规模语言模型助力标注

    通过使用遥感图像领域的 RSICD 数据集中提供的字幕，本文旨在解决字幕数据集中可能存在的信息和沟通缺陷问题，并通过进行 ChatGPT 语法纠正来增加字幕模型的性能准确性。

    Dec, 2023

  • 字幕出卖：联合字幕对开放性词汇实例分割进行定位和生成

    本文提出了一种基于 Caption Grounding and Generation 框架的简单而有效的方法，借助图像标题中的目标名词发现新类别的实例，通过与 Mask Transformer 基线的结合和 caption generation head 的生成来提高实例级别开放词汇分割的性能，并在 COCO 数据集的两个设置下进行了广泛实验，取得了显著的效果。

    Jan, 2023

  • 基于层级注意力融合的地理定位

    该论文提出了一种基于层次化注意力融合网络和多尺度特征的 2D 图像检索方法，通过自监督训练控制特征强调的权重，实现了对地理定位场景的精确定位。实验结果表明，该方法优于现有的最先进方法。

    Feb, 2021

  • 分层开放词汇通用图像分割

    本文提出了一种层次化结构的图像分割方法，包括分层表示和分裂的文本图像融合机制，并成功应用于多种分割任务中，包括语义、实例和部分级别的图像理解。

    Jul, 2023

  • RemoteCLIP: 远程感知的视觉语言基础模型

    RemoteCLIP 是第一个用于遥感领域的视觉 - 语言基础模型，利用数据扩充和转换方法进行预训练，可用于零样本分类、图像文本检索和物体计数等任务，并在 16 个数据集上均优于基线模型。

    Jun, 2023

  • 远程感知图像变化检索与标注的多模态框架

    在多模态应用中，我们提出了一种创新的基于对比学习的模型，并利用 RS 数据集进行双时序遥感图像对的变化检测分析，实现了文本 - 图像检索功能。

    Jun, 2024