multi-modal representation learning | BriefGPT

关键词multi-modal representation learning

搜索结果 - 7

CMViM：用于 AD 分类的 3D 多模态表征学习的对比掩码 Vim 自编码器
我们提出了一种针对 3D 多模态数据的首个高效表示学习方法 Contrastive Masked Vim Autoencoder（CMViM），该方法利用传统的 Vision Mamba（Vim）自动编码器结构实现对三维医学图像的统一多模态
PDF3 months ago
通过观看数百个手术视频讲座学习多模态表示
该研究使用手术视频讲座来进行多模态表示学习，通过自动生成的文本转录来解决手术视频中的语言挑战，提出了一种新的对齐视频和文本嵌入的方法 SurgVLP，并介绍了一些用于手术的视觉与语言任务作为评估标准。
PDFa year ago
知识引导下的双重一致性模型用于多模态谣言检测
提出一种基于知识引导的双一致性网络，用于检测具有多媒体内容的谣言，该网络具有两个一致性检测子网络，可同时捕获跨模态和内容 - 知识水平的不一致性，并在不同丢失视觉模态条件下实现鲁棒的多模态表示学习。该框架在三个公共实际多媒体数据集上的广泛实
PDFa year ago
AAAI使用单塔 Transformer 统一视觉与语言表示空间
本文提出了一种新的多模态表示学习框架 OneR，该框架可以将图像和标题简单地视为底层相互信息的两种不同视角，并统一地编码两种模态。通过对其进行全面评估，结果表明该框架具有潜在的高效性。
PDF2 years ago
基于预训练模型 CLIP 的零样本外部分布检测
本文研究零样本数据识别问题，提出了一种基于多模态表示学习的方法，名为 ZOC，通过对图像进行文本描述生成和置信度评分来实现未知分类的检测，并在 5 个基准数据集上展现了比基准方案更好的性能。
PDF3 years ago
ACL带序列匹配的并行关注网络用于视频 grounding
本文提出了一个名为 SeqPAN 的并行注意力网络，用于解决视频 grounding 时的多模态表示学习和目标时刻边界预测问题。通过一个自主引导的并行注意力模块，SeqPAN 可以有效地捕捉自我模态上下文和视频文本的跨模态关注信息，并使用序
PDF3 years ago
AAAI多模态洗牌变换器的视频对话动态图表示学习
本研究介绍了一种语义控制的多模态 Shuffled Transformer 推理框架，它包括一系列 Transformer 模块，用于解决 AVSD 任务中的多模态学习和推理，并提出了一种新型的动态场景图表示学习方法。实验结果表明，该模型在
PDF4 years ago