生物信息学中的基础模型的进展与机遇
该调查研究了基本模型（FM）在人工智能中的转化影响，重点关注其与联邦学习（FL）相结合在推进生物医学研究中的应用。基于巨大数据集通过无监督预训练、自监督学习、指导微调和人类反馈强化学习等方法训练的基本模型，如 ChatGPT、LLaMa 和 CLIP，代表了机器学习的重要进展。这些模型具有生成连贯文本和逼真图像的能力，在需要处理包括临床报告、诊断图像和多模态患者互动等多样数据形式的生物医学应用中发挥关键作用。将联邦学习与这些复杂模型结合起来，为利用其分析能力同时保护敏感医疗数据的隐私提供了有前途的策略。这种方法不仅提升了基本模型在医学诊断和个性化治疗方面的能力，还解决了医疗保健中数据隐私和安全的重要问题。该调查回顾了基本模型在联邦环境中的当前应用，强调了挑战，并确定了未来的研究方向，包括扩展基本模型、管理数据多样性以及提高联邦学习框架内的通信效率。旨在鼓励进一步研究基本模型和联邦学习的结合潜力，为突破性的医疗创新奠定基础。
May, 2024
基于自我监督方法使用大规模数据集训练的基础模型（FMs）被广泛应用于各个领域，包括医疗保健领域，特别在自然语言处理、医学图像分析、临床大型语言模型和病理组学数据等方面。该综述论文全面概述了 FMs 在医疗保健领域的历史、学习策略、旗舰模型、应用和挑战，并提供了详细的医疗应用分类，同时讨论了 FMs 所面临的挑战和未来研究方向。
Jun, 2024
综合调查了联邦基础模型（FedFM）领域，阐明了其与联邦学习（FL）的协同关系，并探索了 FL 研究领域在基础模型时代需要关注的新方法、挑战和未来方向。提出了一种系统的多层次分类法，对现有的 FedFM 方法进行了分类。全面讨论了关键挑战，包括如何使 FL 处理高复杂性的计算需求、隐私考虑、贡献评估和通信效率。这项调查强调了在 FedFM 领域进行进一步研究以推动创新的重要性，强调了开发可信解决方案的需求。作为研究人员和从业者参与这个跨学科和快速发展领域的基础指南。
Apr, 2024
本文探讨了基础模型和联邦学习之间的相互作用，旨在深化其协同作用的理解并挖掘这两个领域的潜力，鼓励未来的研究方向，以进一步提高隐私保护和可伸缩性的人工智能系统的发展。
Jun, 2023
本文旨在探讨基础模型（FMs）在数据清洗和集成等传统数据任务中的表现，研究发现大型 FM 模型可以在这些任务中取得 SoTA 表现，并针对这一发现提出了相关挑战和机遇。
May, 2022
本研究旨在探索基于基础模型（foundation models）在智能农业领域的潜力，通过回顾计算机科学领域的最新研究，并将其归类为语言基础模型、视觉基础模型、多模态基础模型和强化学习基础模型，本文提出了农业基础模型的发展过程和潜在应用及其在模型训练、验证和部署过程中可能面临的挑战，旨在通过引入农业基础模型这一有前景的范式，显著减少对大规模标记数据集的依赖，同时提高农业人工智能系统的效率、效果和泛化能力。
Aug, 2023
提出了图基础模型（GFMs）的概念，并对其关键特征和技术进行首次全面阐述，然后将现有工作根据其依赖性分为三类，即基于图神经网络和大语言模型。本文不仅提供了对当前图基础模型领域的综合概述，还讨论了这一发展中领域的潜在研究方向。
Oct, 2023