基于视觉语言预训练的新型交互式傅里叶变换方法，用于实现远程感知图像字幕生成，通过对遥感图像和文本特征的更好对齐，提高了语义一致性，并在多个数据集上表现出超过其他方法的优越性能。

Dec, 2023

引用远程感应图像分割（RRSIS）是一个将计算机视觉和自然语言处理相结合的新挑战，根据文本查询在航空图像中划定特定区域。为了解决此挑战，我们引入了旋转多尺度交互网络（RMSIN），它包含了用于处理多尺度细节的内尺度交互模块（IIM）和用于在网络中一致地整合这些细节的跨尺度交互模块（CIM），此外，RMSIN 还采用适应性旋转卷积（ARC）来考虑物体的多样方向，极大地提高了分割准确性。通过对包含 17,402 个图像 - 标题 - 掩模三元组的数据集进行实验评估，RMSIN 表现出了超出现有最先进模型很大的性能优势。

Dec, 2023

最近，基于隐式神经表示的方法在任意尺度超分辨率（ASSR）方面展现出了出色的能力。我们设计了多尺度隐式变换器（MSIT），其中包含一个多尺度神经操作器（MSNO）和多尺度自注意力（MSSA）。通过功能增强、多尺度特征提取和多尺度特征融合，MSNO 获得了多尺度潜在编码。MSSA 进一步增强了潜在编码的多尺度特征，从而提高了性能。此外，为了改进网络性能，我们提出了与累积训练策略相结合的重互作用模块（RIM），以改进网络学习信息的多样性。我们首次在 ASSR 中系统地引入了多尺度特征，并进行了大量实验证明了 MSIT 的有效性，我们的方法在任意超分辨率任务中取得了最先进的性能。

Mar, 2024

通过使用外部知识图谱挖掘相关信息，我们提出了一种适用于遥感图像的知识感知文本 - 图像检索（KTIR）方法，该方法丰富了搜索查询中可用的文本范围，缓解了文本和图像之间的信息差距，实现更好的匹配。实验结果表明，该方法在遥感文本 - 图像检索中表现出优异的检索能力，超越了现有的最先进方法。

May, 2024

用于遥感图像超分辨率 (RSISR) 的新型 Transformer 网络 SPIFFNet，通过引入跨空间像素整合和跨阶段特征融合注意力机制，有效提高了全局认知和特征表达能力，从而在定量度量和视觉质量上优于现有方法。

Jul, 2023

通过参数高效的迁移学习方法，将自然领域的视觉 - 语言知识有效且高效地转移到遥感领域的图像 - 文本检索任务上，提出了一个新颖而复杂的参数高效转移学习框架，通过预训练的 CLIP 模型、多模态遥感适配器和混合多模态对比学习目标来解决遥感数据中高内部相似性的问题，并在 RSITR 任务上进行了全面的实证研究，结果表明该方法具有很大的应用潜力，可以在实际应用中实现大幅度的训练成本节省，超过传统方法 7-13% 的检索性能并达到与全面微调相媲美甚至更好的性能，为 RS 视觉 - 语言任务提供了新的思路和有用的见解。

Aug, 2023

提出了一种基于深度学习的新方法 MS2TAN (Multi-scale Masked Spatial-Temporal Attention Network)，用于重建时间序列的遥感图像，通过充分利用空时辅助信息，得到更高的恢复准确性。

Jun, 2024

本文全面介绍了跨模态图像 - 文本检索的研究进展，包括特征提取、特征对齐、效率优化以及预训练，讨论了一些关键但较少被研究的问题，并对代表性方法进行了精度比较。

Mar, 2022

通过多模式远程感知数据进行对象检测，提出了一个基于多模式变换器的解决方案，包括交叉通道注意力模块和结合卷积层和固定维度的新架构，以实现细粒度到粗粒度的表示生成，并在广泛实验中验证了其有效性和适用性。

Oct, 2023

我们介绍了 “X-STARS” 的远程感知数据的跨传感器自监督训练和对齐方法，通过设计多传感器对齐稠密损失（MSAD）来对齐不同分辨率的传感器所表示的数据，从而提高模型在各种数据可用性和分辨率条件下的性能。

May, 2024