cross-modal embeddings | BriefGPT

关键词cross-modal embeddings

搜索结果 - 8

组合视觉推理的课程学习
本研究提出了基于预定义跨模态嵌入的神经模块网络方法，以 “热启动” 学习 GQA 数据集，进而采用课程学习作为一种改进训练和更好利用数据的方法，在训练期间引入中间损失，并发现这可以简化课程学习策略。多个困难标准用于定义课程学习方法，该研究表
PDFa year ago
StyleBabel：艺术风格标记和字幕
本研究提出了 StyleBabel 数据集，包括超过 135K 的数字艺术作品的自然语言标题和描述艺术风格的自由表单标签；通过一种基于 Grounded Theory 的迭代方法进行收集，使用 ALADIN 架构 + Visual Tran
PDF2 years ago
CVPR使用自由形式的文本查询进行手语视频检索
本文介绍了一种通过迭代学习的 SPOT-ALIGN 框架来改善印式手语检索与识别的效果，该框架利用大规模的美式手语数据集 How2Sign，使用交叉模态嵌入技术以及自由文本查询来挖掘手语视频集合并且解决标注数据不足的问题。
PDF2 years ago
ICCV跨模态对比学习：多模态视频表征
提出了一种新的对比损失方法 CrossCLR，能够实现跨模态嵌入学习中考虑嵌入空间中类内相似性，避免了同一内容被映射到多个点的问题，从而显著提高了视频与文本的检索和视频字幕生成的性能。该方法具有很好的普适性，可用于其他模态之间的联合嵌入学习
PDF3 years ago
ICCVASMR: 基于属性的人物搜索学习和自适应语义边界正则化器
该研究提出了一种新的交叉模态嵌入学习损失函数，它采用语义距离自适应间隔来推开共享不同标签之间的嵌入点。在公共基准测试中，该方法在没有额外工具的情况下实现了最先进的记录。
PDF3 years ago
CVPRT-VSE: 基于 Transformer 的视觉语义嵌入
本文研究了基于 Transformer 模型的跨模态图文检索问题，发现在大规模电商产品数据集上，相比于 RNN 等传统语言模型以及简单的平均词向量模型，基于 Transformer 的跨模态嵌入表现更加优秀。
PDF4 years ago
MM具有计划自适应边缘约束的跨模态子空间学习
本文提出一种新的逐步自适应最大边界（SAM）公式，通过推断在训练期间的三元约束，从而通过自适应地强制执行类别之间和模态之间的相关性，组织实例。在广泛使用的数据集上，实验证明了 SAM 方法的相对改进，达到了比第二佳方法高约 12.5% 的效
PDF5 years ago
完美匹配：音频 - 视觉同步的改进型跨模态嵌入
该论文提出了一种新的跨模态嵌入学习策略，通过多路匹配问题学习嵌入，显著提升了音频到视频同步任务的表现，并用学习到的嵌入进行自我监督的视觉语音识别。
PDF6 years ago