generalizable representations | BriefGPT

关键词generalizable representations

搜索结果 - 5

超越数据不平衡的泛化：对 CLIP 进行可控研究以获取可转移的洞见
研究发现 CLIP 预训练在面对数据不平衡时相比于监督学习表现出明显的鲁棒性和学习泛化能力。通过对各种潜在因素的控制实验研究，揭示了 CLIP 预训练的伪任务形成了一个动态分类问题，在训练中只包含部分类别，从而消除了主导类别的偏差且隐含地实
PDFa month ago
通过硬补丁挖掘引导掩蔽视觉建模
通过引入一个辅助损失预测器和一个逐渐引导训练过程的易难遮罩策略，我们提出了 Hard Patches Mining (HPM) 方法来增强模型作为教师的能力，通过预测基于补丁的损失并确定遮罩的位置，从而显著改进了图像和视频的基准性能，并验证
PDF6 months ago
CLIP 的泛化性能主要源自高的训练 - 测试相似性吗？
通过对 LAION 数据集进行剪枝，证明 CLIP 模型的超出分布性能不仅依赖于训练数据的相似性，还受其他数据特性的影响。
PDF9 months ago
长尾学习中的平衡知识蒸馏
提出了一种平衡知识蒸馏（BKD）框架，通过实例平衡分类损失和类平衡蒸馏损失的组合来训练学生模型，并成功地解决了长尾学习中模型在尾部类上的性能问题和在头部的性能问题之间的矛盾，使学生模型比教师模型有了显著的性能提升。
PDF3 years ago
ACLUNIMO：通过跨模态对比学习实现统一模态理解和生成
本文介绍了一种名为 UNIMO 的统一单模态预训练架构，它可以有效地适应单模态和多模态理解和生成任务，利用大规模自由文本语料库和图像集合来提高视觉和文本理解的能力，并使用跨模态对比学习来将文本和视觉信息对齐到图像 - 文本对的统一语义空间。
PDF4 years ago