pre-trained foundation models | BriefGPT

关键词pre-trained foundation models

搜索结果 - 10

EffoVPR：有效利用基础模型的视觉场所识别
使用自注意力层提取特征进行重新排序，结合 ViT 层用于全局特征生成，并且在具有遮挡、昼夜变化和季节变化的挑战场景中取得了最先进的结果。
PDFa month ago
ICML消除偏见：对基础模型进行半监督学习的微调
通过在预训练基础模型中应用平衡的边界 Softmax 和解耦式标签平滑，FineSSL 提供了一种新的半监督学习方法，显著改善了现有方法的性能问题，并在多个基准数据集上达到了新的最先进水平，降低了训练成本超过六倍，可以无缝集成各种微调和现代
PDFa month ago
基于 CLIP 的零样本异常分割的语义鲁棒性研究
使用预训练的基础模型进行零样本异常分割是一种有前途的方法，它可以在不需要昂贵的领域特定训练或微调的情况下实现有效的算法。我们通过扰动测试数据使用三种语义变换（有界角度旋转、有界饱和度变化和色调变化）来研究 WinCLIP [14] 零样本异
PDF2 months ago
AAAIFM-OV3D：面向开放词汇的基于基础模型的跨模态知识融合的 3D 目标检测
基于各种基础模型的跨模态知识融合方法可以提高 3D 模型的开放性词汇能力，并成功实现了在开放性 3D 目标检测任务中领先的性能。
PDF6 months ago
基于基础模型辅助的弱监督语义分割
这项研究旨在利用预训练的基础模型，如对比语言图像预训练（CLIP）和分段任意模型（SAM），利用图像级别标签解决弱监督语义分割（WSSS）。为此，我们提出了基于 CLIP 和 SAM 的粗到精细的框架，用于生成高质量的分割种子。我们通过冻结
PDF7 months ago
分割与合并：通过稀疏训练释放视觉适配器的潜力
通过提出混合稀疏适配器（MoSA）作为一种新颖的适配器调整方法，旨在充分发挥每个适配器参数的潜力，本研究对一系列 27 个视觉任务进行了广泛实验证明，MoSA 始终比其他适配器调整方法和基准线方法表现更好，并在低资源和多任务设置的两个具有挑
PDF7 months ago
面向大规模多任务数据集的分子学习基础模型
我们提供了七个新颖数据集，覆盖了超过 1 亿个分子和 3000 个任务，用于支持分子学习的基础模型的开发，并介绍了一个简化构建和训练分子机器学习模型的图形机器学习库。通过在大量的量子数据上进行训练，我们实证观察到在低资源的生物学数据集上的表
PDF9 months ago
交流式通信：通过提炼预训练知识向下游模型传递
通过交互式通信过程扩展了知识蒸馏技术，帮助下游任务的学生有效地从预训练的基础模型中学习，并在基准数据集上进行实验证明我们的通信机制优于最先进的蒸馏技术。
PDF9 months ago
CityFM：解决城市挑战的城市基础模型
通过开放地理空间数据和自我监督学习，CityFM 构建了一个多模态的预训练基础模型，用于处理地理空间数据和回答城市相关问题，并在道路、建筑和区域级别的任务上获得了优秀的性能。
PDF9 months ago
微调可能削弱基础模型；保留特征可能是解决方案
通过使用 LDIFS 方法，可以在保持下游任务性能不受明显影响的情况下，显著减少概念遗忘现象。
PDF10 months ago