Oct, 2023

应用全球土地覆盖产品作为视觉基础模型的农田识别提示

PDF
TL;DR通过视觉基础模型，我们引入了 “Pretrain+Prompting” 范例来解读农田场景，并基于可获得的全球土地覆盖产品设计了自动提示（APT）方法。该方法实现了从通用场景到专用农田场景的精细适应过程，而无需引入额外的标签成本。我们的实验证明，该方法在遥感领域的两个亚米级农田数据集中优于传统的监督学习和微调方法。
cropland mappingpretrain+prompting paradigmdomain gapvisual foundation modelsremote sensing
发现论文，激发创造
  • 在数据稀缺环境下使用深度学习进行大规模农田绘制：尼日利亚案例研究

    利用机器学习技术结合全球农田数据集和手工标注数据，对尼日利亚进行了 10 米分辨率的新农田图生成，通过评估和比较不同模型及全球土地覆盖地图的性能，发现现有的 WorldCover 地图在测试集上表现最佳。

    Dec, 2023

  • 视觉语言理解的情境提示学习

    本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

    Jul, 2023

  • C-SAW: 遥感中图像泛化的自监督提示学习

    我们提出了 C-SAW，这是一个在视觉空间中加入自监督损失和强调视觉领域和内容特定特征的新型提示学习技术，以确保领域不变的提示学习，并增强视觉特征的表达能力。C-SAW 在多个遥感基准测试和不同的泛化任务中展现了超越性能。

    Nov, 2023

  • DAP：面向领域感知的视觉与语言导航提示学习

    通过引入低成本提示调整范式来学习特定领域视觉提示，我们提出了一种新颖且模型无关的领域感知提示学习（DAP）框架，以在 VLN 任务中为预训练模型提供特定对象级和场景级跨模态对齐，并将领域内视觉知识以高效的方式注入预训练模型的视觉编码器。在 R2R 和 REVERIE 上的实验结果显示，DAP 相比现有的最先进方法具有明显的优势。

    Nov, 2023

  • 运用迁移学习实现全球农作物地图

    本文使用卫星数据和深度学习方法，建立一个基于转移学习的农作物类型检测模型，成功地在韩国、法国、西班牙和荷兰等地区对水稻和大麦进行了检测。

    Nov, 2022

  • 领域控制的提示学习

    通过领域控制的提示学习方法，我们利用大规模特定领域基础模型和轻量级神经网络，在特定领域的遥感图像和医学图像中实现了最先进的性能，同时解决了过拟合挑战。

    Sep, 2023

  • 基于提示的上下文和领域感知预训练：视觉与语言导航

    提出了一种基于提示的上下文和领域感知的预训练框架（PANDA），用于解决预训练视觉语言模型在视觉和语言导航任务中的领域差异和交叉模态对齐的问题，并通过对比学习进一步优化预训练模型。实验结果表明，PANDA 在 R2R 和 REVERIE 任务上优于之前的最先进方法。

    Sep, 2023

  • 在像素级别释放视觉提示的威力

    本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8％的平均准确率的记录，并提供了代码。

    Dec, 2022

  • 推动科学中的 AI 公平性：通用领域提示学习助力面向普及的 VLM 研究

    大规模视觉语言模型（VLMs）在自然视觉任务中表现出色，推动跨领域的研究者探索特定领域的 VLMs。然而，构建强大的特定领域 VLMs 需要大量的注释数据、大量的电能和计算资源，这些主要是工业界可用的，却制约了学术界对 VLMs 的研究。为了解决这个挑战，促进可持续和公平的 VLMs 研究，我们提出了广义领域提示学习（GDPL）框架。GDPL 通过小规模的特定领域基础模型和最少的提示样本，使 VLMs 的强大识别能力从自然视觉转移到特定领域，而无需大量数据或资源。通过四元网络，GDPL 利用特定领域的基础模型和最少的提示样本为语言分支赋予领域知识，揭示特定领域视觉特征与自然视觉上下文嵌入之间的跨模态关系。同时，GDPL 通过生成的视觉提示特征的分层传导，将视觉分支引向特定领域，建立与视觉语言关系匹配的基础。此外，为了充分发挥 VLMs 的领域自适应潜力，我们引入了一种新颖的低秩自适应方法。对遥感、医学成像、地质学、合成孔径雷达和流体动力学等不同领域的大量实验证明了 GDPL 的有效性，并展示了在提示学习范式下实现最先进的领域识别性能的能力。我们的框架为可持续和包容性的 VLMs 研究铺平了道路，消除了学术界与工业界之间的障碍。

    May, 2024

  • 跨域泛化的过渡式视觉 - 语言提示学习

    通过使用深度视觉提示以解决域不变性问题，结合语言提示以确保类别可分离性，以及自适应权重机制来平衡域不变性和类别可分离性，本文介绍了一种新的提示学习策略，并通过广泛实验证明深度视觉提示有效提取域不变特征，显著提高深度模型的泛化能力，在三个数据集上取得了最先进的性能。

    Apr, 2024