本文通过性能评估研究了在分割任务中对真实世界分布偏移抗干扰能力的不同模型，发现 Visual Foundation Models（VFMs） 对基于压缩的破坏不具备鲁棒性，而非 VFM 模型在监督下表现更加强健，但在零样本评估中仍然竞争性鲁棒，VFMs 则在特定类别的对象上表现出更高的韧性。

Jun, 2023

本研究针对遥感任务的基础模型研究进行了探讨，提出了一种包括六项分类任务和六项分割任务的基准测试以及可靠的评估方法，并报告了二十种基线模型的结果，旨在推动地球监测领域的模型进展。

Jun, 2023

通过开放地理空间数据和自我监督学习，CityFM 构建了一个多模态的预训练基础模型，用于处理地理空间数据和回答城市相关问题，并在道路、建筑和区域级别的任务上获得了优秀的性能。

Oct, 2023

利用声音和振动信号的转移学习方法来解决实际运行场景中训练数据与真实数据之间的分布差异，并通过预训练和微调的骨干结构与基于深度神经网络的分类器相结合，取得了较好的故障诊断性能。

Oct, 2023

在此工作中，我们提出了一种基于 Transformer 的框架（FaultFormer），用于分析振动信号以预测不同类型的轴承故障。通过使用数据增强和提取傅里叶模态的方法，我们训练了一个 Transformer 编码器，以实现最先进的准确度，并分析了注意机制和模型输出，以确认 Transformer 自动提取信号特征和学习全局和局部关系以进行分类的能力。最后，我们提出了两种预训练策略，为大型可推广 Transformer 的开发铺平了道路，使其能够适应生产现场的新数据、情况或机械设备。

Dec, 2023

通过在多个地理空间子领域进行测试，发现在某些文本模态的地理任务中，基于任务不可知的大型语言模型可以在零样本或少样本学习设置中胜过基于任务特定的全监督模型，但是在其他涉及多种数据模态的地理任务上，现有的基础模型仍然不如基于任务特定的模型表现。因此，通过处理不同的地理数据模态，建议可能性使用能够通过地理对齐来推理各种类型的地理数据的多模态基础模型来应对地理人工智能挑战的多模态特征。

Apr, 2023

本论文采用自监督预训练方法 BEST-RQ，并使用 JUST Hydra 进行源域和无监督目标域数据的联合微调，将 FM 编码器适配器和解码器微调到目标域，使用少量带标记的域内数据，实现了在大规模 YouTube 和语音搜索任务中既数据又模型参数的高效性，在仅使用 2160 万个带标签的域内数据和 130.8 M 的微调参数的情况下，与另外 3 亿带标签的域内数据从头训练 731.1M 模型的效果相同。

Feb, 2023

利用基于模型的主动学习和对比自监督学习技术来优化未标记的振动数据，提出了一种新的机械故障诊断方法，通过少量标记样本和大量未标记数据的有效组合，实现了比现有方法更出色的性能。

Nov, 2023

基于深度学习的 Prithvi 地球观测模型通过高效前期训练和微调，成功实现地球观测领域多个任务的优化，证明了预训练模型在加速微调过程以及在性能上优于随机初始化权重的作用，并表明可显著减少可用标注数据的数量而不影响模型准确性。

Oct, 2023

边缘设备资源有限，难以将深度学习模型推广到各种环境和任务。本文提出了一种具有开放集识别能力的边缘云协同系统 EdgeFM，通过选择性上传未标记的数据来查询云端的基础模型 (FM)，并为边缘模型定制特定的知识和体系结构，同时 EdgeFM 在运行时考虑数据不确定性和动态网络变化进行动态模型切换，以确保准确性始终接近原始 FM。我们在两个边缘平台上使用两个 FM 实现了 EdgeFM。我们在三个公共数据集和两个自采集数据集上评估了 EdgeFM，结果表明与基准相比，EdgeFM 可以将端到端延迟缩短多达 3.2 倍，并实现 34.3% 的准确性提高。

Nov, 2023