foundation model | BriefGPT

关键词foundation model

搜索结果 - 29

对基础模型在密集识别任务中的当前应用的批判性视角
近年来，大型模型在大量跨模态数据上的训练中取得显著成果，尤其在图像识别和生成等领域，但尚不清楚这些基础模型是否可应用于其他不同的下游任务。本文对建立在预训练基础模型之上的区分性密集识别任务的当前方法进行了简要调查，并对一种基于稳定扩散的现有
PDFa year ago
内窥镜视频分析基础模型：大规模自监督预训练
本文介绍了一种可以应用于内窥镜视频分析的基础模型 Endo-FM，其使用全局和局部视图进行自监督下预训练，并能够通过微调来应用于不同任务，其优于当前的自监督预训练和适配器转移学习方法。
PDFa year ago
基础模型与联邦学习的相遇：动机、挑战和未来方向
本文探讨了基础模型和联邦学习之间的相互作用，旨在深化其协同作用的理解并挖掘这两个领域的潜力，鼓励未来的研究方向，以进一步提高隐私保护和可伸缩性的人工智能系统的发展。
PDFa year ago
VAST: 视听字幕文本全模态基础模型与数据集
本文利用自动生成的大规模全模态视频字幕数据集 VAST-27M 来探索多模态视频轨道（包括视觉、音频和字幕）与文本之间的联系，训练出了一种全模态视频 - 文本初始模型 VAST，该模型可以感知和处理视频中的多种模式，并且在各种跨模态基准测试
PDFa year ago
控制的通用动力学模型
调查使用 Transformer 序列模型作为控制器动力学模型，发现它们不仅在单个环境下的学习表现优异，而且在少量数据或无数据的情况下能够很好地适应未见过的环境，由此可以成为控制器基础模型
PDFa year ago
基于 Foundation Model 的系统设计框架
本研究提出了一个基于基础模型的系统分类法，涉及预训练和微调，基于基础模型的系统的体系结构设计以及负责任的 AI-by-design。该分类法为基于基础模型的系统设计提供了具体的指南，并突出了设计决策带来的权衡。
PDFa year ago
通过后门攻击探索 SAM 的安全漏洞
本文介绍了 BadSAM，它是第一个对图像分割基础模型进行的后门攻击，实验结果表明，BadSAM 在 CAMO 数据集上取得了良好的效果。
PDFa year ago
Open-TransMind：智能交通第一基础模型挑战赛的新基线和基准
在智能交通领域，基于深度学习的 foundation model 技术面临着少样本、泛化性能差、缺乏多模态技术等挑战。为了促进基于 foundation model 的技术在交通场景的普及和智能交通产业的快速发展，我们设计并提出了首届 Fo
PDFa year ago
探索稳定扩散的表征流形
本研究探讨在 Stable Diffusion 模型内置表现的内在维度，发现提示的选择对模型各层的表现内在维度有重要影响，提示复杂度会影响模型特定层的表现维度，而内在层则未表现出此种相关性。研究结果可为将来研究文本 - 图像模型内使用不同提
PDFa year ago