使用数据核心比较基础模型
本研究针对遥感任务的基础模型研究进行了探讨，提出了一种包括六项分类任务和六项分割任务的基准测试以及可靠的评估方法，并报告了二十种基线模型的结果，旨在推动地球监测领域的模型进展。
Jun, 2023
基于自主学习的图神经网络模型的广义化和可扩展性进行了全面分析和研究，通过生成节点表示，在节点分类、链接预测和节点聚类等任务上实现了各种自主学习图神经网络模型的性能比较，并比较了全批次和小批次训练策略后各个模型的性能，同时评估了这些模型的训练效率。
Jun, 2024
基于基础模型对计算机视觉、地球观测和地理空间人工智能领域的问题进行联合解决，其对于有限的标记数据表现出更好的性能，并且在下游任务中具有标签高效的特点。
Jun, 2024
为了理解生物和人工神经网络的操作，研究者们需要一个标准化的工具集来量化其结构等因素对神经表征的影响，这篇论文提出了一族量化表征不同神经网络之间相似性的度量空间，利用这个框架使得神经网络表征可以整合进任意的机器学习方法中，然后利用大规模生物和深度学习数据集来验证这些方法，最终找出了神经表征之间与结构和性能之间的关系。
Oct, 2021
提出了图基础模型（GFMs）的概念，并对其关键特征和技术进行首次全面阐述，然后将现有工作根据其依赖性分为三类，即基于图神经网络和大语言模型。本文不仅提供了对当前图基础模型领域的综合概述，还讨论了这一发展中领域的潜在研究方向。
Oct, 2023
建立一个可以在不同图和任务中很好工作的图基础模型（GFM），通过统一的骨干结构近期引起了广泛关注。尽管文本空间的 GFM 存在巨大潜力，但目前的研究面临两个问题：缺乏统一问题设置的综合基准，以及缺乏足够的数据集来全面探索方法的潜力。为了解决这些问题，我们进行了综合基准的研究，并提供了新的文本空间数据集和全面的评估。实证结果提供了新的见解，并启发了未来的研究方向。
Jun, 2024
近年来，大型模型在大量跨模态数据上的训练中取得显著成果，尤其在图像识别和生成等领域，但尚不清楚这些基础模型是否可应用于其他不同的下游任务。本文对建立在预训练基础模型之上的区分性密集识别任务的当前方法进行了简要调查，并对一种基于稳定扩散的现有开放词汇分割方法进行了初步的实验分析，结果表明当前的扩散模型在分割问题上的部署方式并非最优。旨在为未来采用基础模型进行下游任务的研究提供见解。
Jul, 2023
存储底层训练数据的嵌入表示的方法，结合了 $k$- 最近邻分类器和基于视觉的基础模型，在数据隐私保护方面具有动态修改和良好的解释性和适应性，通过实验证明在基准数据集和医学图像分类任务中有更好的分类性能，同时在持续学习和数据删除场景中展现出良好的鲁棒性。
Feb, 2024
本文介绍了基础模型，深度学习中通过模型大小和训练数据广度和大小的扩展可以对未来的 AI 开发造成破坏。基础模型在各种任务领域（如自然语言处理和计算机视觉）中实现了最先进的性能，并且通过进一步的改进常常得到更好的表现。此外，模型的单一化可能会将众多特定任务的模型替换为由少数公司控制的更少数量的大型模型，从而导致对 AI 的权力和控制的转移，并出现新兴的行为方式：上下文学习。
Dec, 2022