基于联邦学习与基础模型的潜力和挑战以及核心技术、未来方向和应用的综述。

Jun, 2024

本篇论文提出了一种新型的人工智能生态系统，将基础模型与数百万 API 相连通以实现各种数字和实体任务，该方法主要利用基础模型作为中心系统，将这些 API 作为子任务解决器，以完成各种任务。

Mar, 2023

通过联合训练分类器和分配系统的方式来补充多个人类专家的能力，实现了对于人类专家难以预测的情况进行准确预测，并将任务分配给最合适的小组成员，该方法在多个实验中均表现出优越的性能。

Jun, 2022

我们提出了一种基于 “专家混合” 的综合框架，以解决传统模型和机器学习方法在处理复杂系统时的准确性和解释性之间的平衡问题。通过数据驱动的融合多样化的本地模型，充分利用基于原则的先验知识，我们的解决方案支持专家的独立训练，并结合了机器学习和系统辨识技术，同时支持合作和竞争学习范式。为了增强解释性，我们对专家组合的突变进行了惩罚。实验结果验证了我们的方法的有效性，能够产生与目标现象紧密相似且可解释的模型组合。

Jan, 2024

通过在多个地理空间子领域进行测试，发现在某些文本模态的地理任务中，基于任务不可知的大型语言模型可以在零样本或少样本学习设置中胜过基于任务特定的全监督模型，但是在其他涉及多种数据模态的地理任务上，现有的基础模型仍然不如基于任务特定的模型表现。因此，通过处理不同的地理数据模态，建议可能性使用能够通过地理对齐来推理各种类型的地理数据的多模态基础模型来应对地理人工智能挑战的多模态特征。

Apr, 2023

本文提出了一个新的框架，通过对无标签数据点的代表性进行评估，利用专家的判断来改进机器学习模型的预测，并在多项实验和评估中获得了成功的结果和评价指标。

Apr, 2023

通过混合专家框架和创新的门控函数，本研究介绍了 FuseMoE 模型，该模型可以有效地处理多模态数据、缺失模态以及时间上的不规则和稀疏采样数据，从而改善模型预测性能。通过临床风险预测任务的验证，证实了 FuseMoE 在实际应用中的实用性。

Feb, 2024

本文介绍了基础模型，深度学习中通过模型大小和训练数据广度和大小的扩展可以对未来的 AI 开发造成破坏。基础模型在各种任务领域（如自然语言处理和计算机视觉）中实现了最先进的性能，并且通过进一步的改进常常得到更好的表现。此外，模型的单一化可能会将众多特定任务的模型替换为由少数公司控制的更少数量的大型模型，从而导致对 AI 的权力和控制的转移，并出现新兴的行为方式：上下文学习。

Dec, 2022

AI 基础模型的兴起，具有广泛数据训练和可适应下游任务的特点，其机制、应用和社会影响需要更多的跨学科合作来研究。

Aug, 2021

在大数据和人工智能时代，对于基础模型采用对比自监督学习来建模大规模异构数据是一种新兴的范式。本文针对基础模型的异构对比学习进行了系统的调查，评估当前的状态并突出了对比学习的挑战和未来趋势。主要讨论了最新的对比学习方法如何处理视角异质性以及如何使用对比学习训练和微调多视图基础模型，然后介绍了用于任务异质性的对比学习方法，并展示了如何将不同任务与对比学习损失结合以实现不同目的。最后，总结了对比学习的挑战，并展望了未来的研究方向。

Mar, 2024