multimodal representation | BriefGPT

关键词multimodal representation

搜索结果 - 8

psPRF：用于广义三维重建卫星图像的全平面神经辐射场
该论文介绍了一种针对卫星传感器的低分辨率 RGB 图像和高分辨率全色图像的 Planar 神经辐射场（psPRF），通过采用显式的光谱到空间卷积（SSConv）来增强多模态表示能力，并采用投影损失来支持 psPRF 的泛化能力，该方法在多场
PDF12 days ago
通过全局工作区实现强化学习策略的零样本跨模态转移
通过训练一个基于认知科学的 ' 全局工作空间 '，我们探索了这样一个受大脑启发的多模态表示是否有助于增强强化学习代理的泛化能力及跨模态转移，在两个不同环境和任务中实验结果表明，该模型能够进行零 - shot 跨模态转移，在图像和属性向量之间
PDF4 months ago
全局工作空间下的半监督多模态表示学习
本文提出了一种神经网络体系结构，灵感来源于认知学的 “全球工作区” 的概念，可以通过自监督训练对两种输入方式进行对齐和翻译，并且将全球工作区表示应用于下游分类任务和强大的转移学习。
PDFa year ago
CVPR对比学习中的多模态表示再探讨：从块和标记嵌入到有限离散标记
本文提出了一种基于 Finite Discrete Tokens (FDT) 的多模态表示方法，通过引入 FDT tokens 来代替原有的视觉片段和语言词，减小了不同语义级别和粒度间的差异，实现了更好的跨模态对齐和性能表现。
PDFa year ago
AltCLIP：扩展 CLIP 语言能力的语言编码器修改
本研究将预训练的多模态嵌入模型 CLIP 的文本编码器改为预训练的多语言文本编码器 XLM-R，并通过两阶段的教师学习和对比学习实现两种语言和图像表征之间的对齐，取得了在 ImageNet-CN，Flicker30k-CN，COCO-CN
PDF2 years ago
GENEA 挑战赛 2022 的 ReprGesture 参赛作品
本文介绍了 ReprGesture 的自动手势生成系统，该系统利用多模态表示学习生成包括语音节奏在内的合适的手势，并在 GENEA 挑战赛中取得了不错的成绩。
PDF2 years ago
T-Modules: 零样本跨模态机器翻译的翻译模块
该论文提出了一种新的零样本跨模态翻译方法，通过将多语言语音和文本编码到联合的固定大小的表示空间中，然后比较不同的解码方法以实现跨语言和模态的零样本翻译。尽管有着固定大小的表示空间，但在多个文本和语音翻译任务中取得了非常好的结果，特别是在 M
PDF2 years ago
音频和视觉信号的跨模态映射的深度潜在空间学习
该论文提出了一种新颖的深度学习算法，通过单流网络和新的损失函数来实现音频和视觉信息的联合表示，并使用类中心对共享的深层潜在空间表示进行表征，以实现无需成对或三重监督。在 VoxCeleb 数据集上的多种任务中进行了定量和定性评估，在跨模式验
PDF5 years ago