遥感图像亿级基础模型
基于深度学习的 Prithvi 地球观测模型通过高效前期训练和微调，成功实现地球观测领域多个任务的优化，证明了预训练模型在加速微调过程以及在性能上优于随机初始化权重的作用，并表明可显著减少可用标注数据的数量而不影响模型准确性。
Oct, 2023
在预训练基于互联网规模无标签数据的基础模型 (Foundation Models，FMs) 中，研究增至十亿级参数规模的 FMs 和高性能计算 (HPC) 训练，以应用于地理空间图像应用中，取得了较小规模模型的显著准确率提升。
Apr, 2024
基础模型在遥感任务中的适用性取决于自监督学习任务与实际下游任务的一致性，而传统机器学习模型在某些场景下表现得更好，尤其是在纹理不适用于分类的任务中。
Apr, 2024
本研究针对遥感任务的基础模型研究进行了探讨，提出了一种包括六项分类任务和六项分割任务的基准测试以及可靠的评估方法，并报告了二十种基线模型的结果，旨在推动地球监测领域的模型进展。
Jun, 2023
本研究基于共享编码器和任务特定解码器架构，对遥感基础模型进行多任务监督预训练，包括语义分割、实例分割和旋转目标检测。随后在不同的遥感下游任务上对预训练模型进行微调，并通过 14 个数据集的广泛实验验证了我们模型相对于同样规模的现有模型的优越性以及与更大型的最先进模型的竞争性表现，从而验证了多任务预训练的有效性。
Mar, 2024
本文提出了一种新的框架，包括领域基础模型（DFM），该模型缩小了通用基础模型（GFM）和特定领域下游任务之间的差距，并通过预训练的 VLM 将筛选后的遥感图像与英文描述进行配对，构成了第一个大规模遥感图像 - 文本匹配数据集。在该数据集上的实验结果表明，使用上述数据集和提出的 DFM 方法的零样本分类和视觉语言检索任务的性能都较好，并且 RS Stable Diffusion 模型的训练也取得了成功的结果。
Jun, 2023
本文讨论了大规模预训练模型，即基础模型，用于分析医学图像的机遇、应用和未来方向。具体而言，我们说明了医学基础模型的 “光谱”，从一般的视觉模型、模态特异性模型到器官 / 任务特异性模型，强调它们的挑战、机会和应用，以此来提高医学图像分析的准确性和效率，从而促进更加精确的诊断和治疗决策。
Jun, 2023
该论文重新审视了在视觉识别任务中使用的标准预训练 - 微调范式，通过使用自监督 MAE 技术实现额外的预先训练阶段来初始化模型。该方法不仅可以扩展模型大小，还可以扩展训练数据集的规模，从而提高了基础模型的训练效率以及各种视觉识别任务的性能并取得了新的最优结果。
Mar, 2023
本研究提出了一种基于万能基础模型的变化检测适应框架，通过利用基础模型的知识来提升现有变化检测方法的性能，并展示了基础模型在遥感变化检测中的潜力。
Dec, 2023