- 适用性一致性:确定何时可信赖具有保证的基础模型
该研究提出了一种称为 Conformal Alignment 的通用框架,用于识别满足用户指定对齐准则的单元组,以确保基础模型的输出与人类评估一致,以此保证其在医学决策中生成放射学报告的使用。通过轻量级的基于适量的参考数据训练,该方法能够准 - 远程感知的传感器间自我监督训练与校准
我们介绍了 “X-STARS” 的远程感知数据的跨传感器自监督训练和对齐方法,通过设计多传感器对齐稠密损失(MSAD)来对齐不同分辨率的传感器所表示的数据,从而提高模型在各种数据可用性和分辨率条件下的性能。
- 揭示文本、图像、视频和音频基础模型中的幻觉:一项全面综述
该综述论文通过综合横跨文本、图像、视频和音频等多种模态的最新进展,旨在提供对基于模态的基础模型中幻觉问题的识别和缓解的宝贵洞察,为研究人员、开发人员和实践者建立了一个明确的框架,包括定义、分类和检测策略,为这一关键领域的未来研究奠定了基础。
- 生物医疗健康中联邦基础模型的挑战与机遇
该调查研究了基本模型(FM)在人工智能中的转化影响,重点关注其与联邦学习(FL)相结合在推进生物医学研究中的应用。基于巨大数据集通过无监督预训练、自监督学习、指导微调和人类反馈强化学习等方法训练的基本模型,如 ChatGPT、LLaMa 和 - 建立可靠的基础模型开发 AI 应用
深度学习模型信任度评估及保证,基于应用特定的风险评估方法,结合基础模型的特定风险,验证与确保基于基础模型开发的 AI 应用的信任度要求。
- 地球与气候基础模型的基础研究
地球和气候科学基础模型具有巨大潜力, crafting the ideal Earth foundation model, to achieve the ideal model and to evaluate Earth foundatio - 时间序列基础模型综述:利用大型语言模型进行时间序列表示的泛化
对时间序列进行分析的基础模型的研究和应用,包括从头开始预训练基础模型和适应大型语言基础模型进行时间序列分析的方法,并提供了一种 3E 分析框架和一个领域分类系统来帮助该领域的发展。
- 时空 SwinMAE:基于 Swin Transformer 的多尺度时空卫星图像表示学习器
本研究论文介绍了一种名为 Spatio-Temporal SwinMAE 的架构,专注于时空图像处理的表示学习,提出了一种名为 Degas 100M 的预训练模型作为地理空间基础模型,并提出一种名为 Spatio-Temporal Swin - CVPRASAM:通过对抗调整提升片段任意建模
本研究介绍了 ASAM,一种通过敌对调整增强 SAM 性能的新方法,利用稳定性扩散模型增加 SA-1B 数据集子集的敌对实例,展示更真实且与原始标注一致的分割结果,从而在不需要额外数据或架构修改的情况下,显著提高了各种分割任务的表现,为计算 - CVPRMoPEFT: 用于分割任何模型的 PEFT 混合模型
提出了一种新的框架,Mixture-of-PEFTs methods (MoPEFT),它通过将三种不同的 PEFT 技术作为子模块,动态学习激活最适合给定数据任务设置的方法来对 Segment Anything Model 进行微调。在 - SiamQuality:基于卷积神经网络的不完美生理信号基础模型
基于大数据集的生理信号,本文提出了一种自监督学习任务,利用卷积神经网络作为骨干模型,使好质量和差质量信号在相似生理状态下具有相似的表示,从而证明了该方法在心脏监测上的优越性。
- 基于生成模型的强化学习与紧凑支持集
使用强化学习作为对基础模型的控制的框架,通过生成小而专注的合成支持集来增强神经网络模型在真实数据分类任务上的性能,而无需额外的标记或数据成本。
- 基于基础模型的联邦学习的进展与开放挑战
综合调查了联邦基础模型(FedFM)领域,阐明了其与联邦学习(FL)的协同关系,并探索了 FL 研究领域在基础模型时代需要关注的新方法、挑战和未来方向。提出了一种系统的多层次分类法,对现有的 FedFM 方法进行了分类。全面讨论了关键挑战, - MiniMol:一种用于分子学习的参数高效基础模型
生物学任务中,数据通常很少。该研究提出了一种用于分子学习的基础模型 $ exttt {MiniMol}$,该模型经过预训练,在下游任务中表现出显著改进,具有公开源码。
- 医疗决策中的适应性协作策略研究
通过自动分配适合医学任务复杂性的个体或群体协作结构,模拟真实世界医学决策过程,我们的新颖框架 Medical Decision-making Agents(MDAgents)在一系列具有挑战性的医学基准测试中评估了我们的框架和基准方法,通过 - AI 数据的真实性、同意和来源都存在问题:修复它们需要什么?
基于对基础模型训练数据的大规模分析和现有解决方案,我们确定了促进负责任的基础模型开发实践所需的缺失基础设施,并概述了政策制定者、开发者和数据创造者如何通过采用通用数据溯源标准来促进负责任的基础模型开发。
- CVPR连续学习中的自适应记忆回放
基于丰富的记忆资源和训练效率的重视,我们引入了一种适应性记忆回放的框架来解决不断学习问题,通过多臂赌博机问题的方法来动态选择训练数据,从而在保持高性能的同时减少了遗忘达 10%。
- 面向偏微分方程的基于多操作符学习和外推的基础模型
我们介绍了一种用于科学问题的多模态基础模型 PROSE-PDE,它是一种多运算符学习方法,可以预测时空系统的未来状态,并同时学习物理系统的底层控制方程。我们通过三个外推研究证明了 PROSE-PDE 可以通过训练多个运算符来泛化物理特征,且 - ICLR魔鬼在对象边界:基于 Foundation 模型的无标记实例分割
基于大量数据预训练的模型在各种下游任务中展示出令人印象深刻的零摸索能力,但是在目标检测和实例分割等基本计算机视觉任务中,这些基础模型(如 SAM 和 DINO)难以达到令人满意的性能。本研究揭示了根源在于目标边界,即这些基础模型无法区分个体 - 基础模型的有效时机:利用多光谱图像进行像素级分类的适用性研究
基础模型在遥感任务中的适用性取决于自监督学习任务与实际下游任务的一致性,而传统机器学习模型在某些场景下表现得更好,尤其是在纹理不适用于分类的任务中。