cross-modal transformer | BriefGPT

关键词cross-modal transformer

搜索结果 - 8

融合镁冶炼过程中的异常检测的跨模态学习：方法论和基准
本文提出了一种跨模态 Transformer（称为 FmFormer），旨在通过探索视觉特征（视频）和过程变量（电流）之间的相关性，促进熔镁冶炼过程中的异常检测。该方法引入了一种新颖的标记化范式，以通过多尺度方式有效地弥合三维视频模态和一维
PDF23 days ago
TM2D: 基于双模态驱动的音乐文本融合三维舞蹈生成
本文提出了一种用于生成 3D 舞蹈动作的创新任务，该任务同时加入了文本和音乐模态。本文通过使用基于 3D 人类运动 VQ-VAE 的交叉模态变压器，将这两个数据集的运动投影到由量化向量组成的潜在空间中，并引入 Motion Predicti
PDFa year ago
基于草图的视频物体定位
本文提出一种名为 Sketch-based Video Object Localization (SVOL) 的任务，通过 Sketch-Video Attention Network (SVANet) 的 Cross-modal Tran
PDFa year ago
ECCVLevenshtein OCR
提出了一种基于 Vision-Language Transformer (VLT) 的新型场景文本识别器 (Levenshtein OCR)，利用交叉模态 Transformer 相互融合和逐步近似 ground truth, 通过模拟学习
PDF2 years ago
MM用于压缩视频物体指代分割的多注意力网络
本文提出了在压缩视频数据流上进行指代视频目标分割任务的多关注机制网络和基于查询的跨模态 Transformer 模块，实现了使用单核心直接生成最终分割掩模的复杂后处理过程的目标，结果表明其有效性。
PDF2 years ago
ReLER@ZJU-Alibaba 参加 Ego4D 自然语言查询竞赛 2022
使用多尺度跨模态 Transformer 和视频帧级对比损失来解决 Ego4D 自然语言查询挑战问题，该方法在排行榜上排名第一。
PDF2 years ago
CTAL：跨模态预训练 Transformer 用于音频和语言表示
本论文介绍了一种名为 CTAL 的跨模态转换器，旨在利用大量的音频和语言数据对两个代理任务进行遮蔽语言建模和遮蔽跨模态声学建模，以学习音频和语言之间的内模态和跨模态连接。在多个下游音频和语言任务的微调后，我们观察到在情感分类、情感分析和说话
PDF3 years ago
EMNLPHERO: 视频 + 语言全方位表示的分层编码器预训练
HERO 是一个用于大规模视频 + 语言综合表示学习的新框架，能够通过跨模态变换器捕获视频帧的本地上下文和全局上下文，并经过多模态融合进行编码；在标准的遮蔽语言建模和遮蔽帧建模目标的基础上，还设计了两个新的预训练任务：视频 - 字幕匹配和帧
PDF4 years ago