pretrained foundation models | BriefGPT

关键词pretrained foundation models

搜索结果 - 8

预训练模型中逐步低秩更新中遗忘的实证分析
本文研究了使用低秩适应（LoRA）将预训练模型与现有权重进行合并的设置，并探讨了 LoRA 秩对预训练任务和后续任务的遗忘、可塑性的重要影响，发现视觉变压器在这种方式下表现出一种 “上下文” 遗忘的行为，这是之前的连续学习研究中尚未观察到的
PDFa month ago
多任务学习的力量释放：传统、深度和预训练模型时代的综合调查
多任务学习（MTL）是一个灵活且有效的学习范式，结合了任务特定的和共享的信息，同时解决了多个相关任务。本综述以技术层面从传统方法到深度学习和最新的预训练基于模型的最新趋势，对 MTL 的发展进行了全面概述，并将 MTL 技术系统地分类为正则
PDF2 months ago
UniST：用于城市时空预测的提示增强通用模型
UniST 是一个通用模型，通过对多样的时空数据特征的灵活性、精心设计的掩模策略以及时空知识引导的提示，实现对城市时空预测的强大泛化能力，15 个城市和 6 个领域的广泛实验证明了 UniST 在提升最先进预测性能方面的普适性，特别是在少样
PDF5 months ago
GATS: 聚集 - 关注 - 散开
我们介绍了 Gather-Attend-Scatter（GATS），这是一种新的模块，它使得可以将预训练的基础模型（可训练和冻结的）无缝组合成更大的多模态网络，GATS 赋予 AI 系统能力，可以以不同速率处理和生成来自多个模态的信息。与传
PDF6 months ago
BiPFT: 使用低秩估计二值化残差多项式的二值先预训练基础 Transformer
首次提出了二元预训练基础模型转换器 (BiPFT) 用于自然语言理解任务，极大地节省了计算和内存资源，并通过对二值神经网络 (BNNs) 进行大规模预训练数据驱动的二值化方法，提高了学习能力，具备了 15.4% 优越的综合性能。
PDF7 months ago
CVPRAutoAD: 带上下文的电影描述
本论文旨在提出一种将电影自动转化为文字形式的音频描述（AD）模型，该模型利用预训练模型，只训练桥接两个模型的映射网络来生成高质量的电影 AD，解决电影 AD 依赖于上下文和训练数据有限等问题，并在电影 AD 任务上取得强劲的结果。
PDFa year ago
预训练基础模型综述：从 BERT 到 ChatGPT 的历史
本研究综述了最近的预训练基础模型技术的研究进展，重点探讨了这些技术在文本、图像、图形以及其他数据模态中的应用前景、挑战和机遇，同时也讨论了这些技术的基本组成、现有预训练方法和未来趋势。
PDFa year ago
ICML基础模型组鲁棒性的对比适配器
研究表明，预训练基础模型在数据集分布转移方面具有显著的零 - shot 分类鲁棒性，但在子群或群体分布转移方面鲁棒性相对较弱。通过在 9 个鲁棒性基准上进行实验，发现基于现有模型优化方法来提高鲁棒性是效率低下的，为此提出了一种适配器培训策略
PDF2 years ago