pre-trained vision transformers | BriefGPT

关键词pre-trained vision transformers

搜索结果 - 4

ExPLoRA：参数高效的扩展预训练用于适应领域偏移的视觉变换器
通过使用 ExPLoRA 技术，在对卫星图像进行迁移学习时，只使用很少的参数数量，在无监督的预训练阶段只解冻 1-2 个预训练的 ViT 块和所有归一化层，然后通过 LoRA 微调所有其他层，最后只通过 LoRA 在新域上对模型进行微调，获
PDF16 days ago
CVPRMA-AVT：用于参数高效音频 - 视觉变换器的模态对齐
该论文介绍了一种新的参数高效的视听变压器 MA-AVT，采用深度模态对齐来实现对应的多模态语义特征的对齐，通过联合单模态和多模态令牌学习，引入冻结的模态共享变压器，使模型能够学习到每种模态的独立表示，并关注它们之间的跨模态关系。此外，在编码
PDF25 days ago
低秩重缩放视觉转换器微调：一种残差设计方法
利用奇异值分解对预训练参数矩阵进行精细调整的高效参数微调方法提供了对现有方法调整动态的洞察，通过残差设计确保新参数不会过度偏离预训练模型，实验结果表明，这种方法在各种下游图像分类任务中实现了竞争性的性能，并且保持了可比较的新参数。
PDF3 months ago
SCT: 通过显著通道进行参数高效调优的简单基线模型
通过 Salient Channel Tuning 方法，在只添加 0.11M 参数的情况下，对低数据资源情景中的 18 项任务以及其他领域泛化和少样本学习任务进行了实验，结果表明该调优技术在低数据情况下具有强大的能力和效果。
PDF10 months ago