cross-modal data | BriefGPT

关键词cross-modal data

搜索结果 - 5

通过几何结构一致性学习减轻噪声对应问题
通过准确识别结构差异，使用几何结构一致性方法（GSC）推断真实对应关系并过滤掉噪声样本，以提高跨模态学习中的性能。
PDFa month ago
跨模态正交高阶增强的 RGB - 事件 Transformer 跟踪器
本研究针对 RGB 视频和事件数据的跨模态物体追踪问题，通过利用预先训练的视觉变换器 (ViT) 的巨大潜力，探索了构建复杂的跨模态融合网络的可能性。特别地，我们精心研究了一种插件式训练增强方法，以鼓励 ViT 填补两种模态之间巨大分布差异
PDFa year ago
STAR-Transformer：面向人类动作识别的时空交叉注意力变压器
提出一种名为 STAR-transformer 的模型，该模型可以有效地表示两个跨模态特征为可识别的矢量，并学习到一种高效的多功能特征表示方法。在动作识别领域中，STAR-transformer 的效果显著优于之前的最先进方法。
PDF2 years ago
跨模态场景图匹配用于关系感知的图像 - 文本检索
本文研究了如何使用视觉场景图和文本场景图来联合表示图像和文本中的对象和关系，从而进行跨模态图像文本检索。本研究通过设计特定的场景图编码器实现了物体级和关系级跨模态特征的提取，取得了 Flickr30k 和 MSCOCO 数据集上最先进的结果
PDF5 years ago
Charades-Ego：大规模第三人称及第一人称配对视频数据集
本文介绍了 Charades-Ego Dataset，它是一个大规模的第一人称和第三人称视频数据集，包含 68.8 小时、68536 个活动实例，并且具有时间注释和文本描述，适用于第一人称视角下的视频分类、定位、字幕等任务，以及跨模态数据的
PDF6 years ago