cross-modal transfer | BriefGPT

关键词cross-modal transfer

搜索结果 - 8

通过全局工作区实现强化学习策略的零样本跨模态转移
通过训练一个基于认知科学的 ' 全局工作空间 '，我们探索了这样一个受大脑启发的多模态表示是否有助于增强强化学习代理的泛化能力及跨模态转移，在两个不同环境和任务中实验结果表明，该模型能够进行零 - shot 跨模态转移，在图像和属性向量之间
PDF4 months ago
CWCL：使用持续加权对比损失进行跨模态迁移
本文探讨了交叉感知培训中的对比训练，其中一个模态的预训练模型通过成对的数据用于学习另一个领域的表示学习。采用连续加权对比损失（CWCL）的本文提出了一个新的损失函数，通过连续相似性度量来对齐嵌入空间。在 0-shot 图像分类、0-shot
PDF9 months ago
模式逼近生成优秀的视觉语言提示
本研究提出了 Aurora，一个优美的提示框架，用于跨模态传递，以解决模型复杂性和模态对齐问题。在六个跨模态下游基准测试中， Aurora 不仅优于最先进的方法，甚至优于完全微调方法。
PDFa year ago
语言远非万能：将感知与语言模型对齐
本文介绍了 Kosmos-1，它是一个多模态大语言模型（MLLM），可以感知一般模态，可以在上下文中学习，可以零 - shot 地遵循说明，并在各种任务上取得了卓越的性能，包括语言理解、生成，多模态对话，图像字幕，视觉问答等，并证明 MLL
PDFa year ago
CVPR基于 RGB-D 的场景识别翻译 - 识别网络
该研究提出了一种新的模态间转移识别网络 TRecgNet，利用编码器网络共享任务，采用半监督方式利用未标记的数据进行训练，进一步提高了识别网络的准确性。实验证明，TRecgNet 在 RGB-D 场景识别方面的表现具有优越性。
PDF5 years ago
ECCV深入探究 3D 形状分类器
本研究研究了 3D 形状分类的表示和架构的作用，通过变化训练示例的数量和使用跨模态迁移学习，研究了现有深度架构的初始化对 3D 形状分类的影响，结果表明，多视图方法即使没有在大型标记图像数据集上预训练，甚至在训练简化输入（如二进制轮廓）时，
PDF6 years ago
CVPR基于判别式跨模态迁移学习的 RGB-D 显著目标检测
本文研究使用卷积神经网络，通过跨模态传输问题对深度引导显著性检测进行提高。在这个方法中，我们有效地利用源模态的辅助数据来训练红绿蓝（RGB）显著性检测网络，并利用深度特定信息来预训练模态分类网络。这两个模块都是独立训练的，然后被拼接起来来初
PDF7 years ago
跨模态场景网络
本文研究如何学习跨模态场景表示并提出了新的跨模态场景数据集以及正则化方法，实现了共享的、跨模态的表示，实验表明我们的场景表示对于跨模态检索至关重要，同时我们的可视化结果表明，共享表示中的单元倾向于独立于模态激活在一致的概念上。
PDF8 years ago