cross-modal features | BriefGPT

关键词cross-modal features

搜索结果 - 6

眼球注视导向的多模态对齐框架用于放射学
使用眼动数据来辅助图像和文本特征的对齐，以减少对手动注释的依赖和降低培训成本。同时，探讨了不同量的眼动数据对模型性能的影响，突显将此辅助数据整合到多模态预训练中的可行性和实用性。
PDF3 months ago
教师引导的组合视觉推理的多模态表示
通过利用跨模态特征和更有效的训练技术，加强了神经模块网络在视觉问答中的性能和透明度。
PDF8 months ago
多模态混合学习与顺序训练在 RGB-T 显著性检测中的应用
我们提出了一种多模态混合损失方法（MMHL），并引入了混合融合模块，在 RGB 和热感特征融合时考虑了空间和通道信息。同时，我们实施了顺序训练策略，通过在第一阶段仅对 RGB 图像进行训练，然后学习跨模态特征，从而提高了显著性检测性能，而无
PDF10 months ago
S4M：一个模型生成多个部位放射学报告
本文提出了一种基于单一 - 多个结构的射线报告自动生成模型，该模型能在医学数据有限的情况下，通过辐射学知识聚合和跨模态特征引导来提高医学报告文本质量。
PDFa year ago
文本人物搜索的跨模态特征校准
本文提出一种基于文本的人物搜索的新颖有效方法，使用双编码器和分离的跨模态解码器架构，采用两种新的损失来提供细粒度的跨模态特征，并在 CUHK-PEDES，ICFG-PEDES 和 RSTPReID 等三个流行基准测试中创造了排名前三的成绩。
PDFa year ago
ICCV视频对象分割全双工策略
研究使用双向消息传递的全双工网络 (FSNet) 来增强运动和外观之间的相互制约，通过关系型交叉注意力模块 (RCAM) 在融合和解码阶段利用跨模态特征，并在 RCAM 之后采用双向净化模块 (BPM) 来提高模型的鲁棒性。经过五个常用基准
PDF3 years ago