vision-language representation learning | BriefGPT

关键词vision-language representation learning

搜索结果 - 6

强化视觉 - 语言基础模型：关键语义知识强调的报告优化
通过提出强调关键语义知识的报告细化方法，本文开发了一种新颖的迭代式视觉 - 语言表示学习框架，从而对原始放射学报告进行细化，突出显示关键信息，并逐渐提取对细粒度分析任务至关重要的关键信息，从而验证了该框架在各种下游医学图像分析任务中的有效性
PDF5 months ago
MetaSegNet: 基于元数据协同的视觉语言表示学习用于遥感图像语义分割
我们提出了一种基于视觉 - 语言表示学习的元数据协作多模态分割网络（MetaSegNet），该网络用于遥感图像的语义分割，并展示了卓越的泛化性能和与现有方法相竞争的准确性。
PDF6 months ago
域对齐的 CLIP 用于少样本分类
在这项工作中，我们介绍了一种用于 CLIP 的样本高效领域适应策略，称为 Domain Aligned CLIP (DAC)，它在不对主模型进行全量微调的情况下，改进了目标分布上的内部模态对齐和跨模态对齐。通过引入一个轻量级的适配器和一个简
PDF8 months ago
CVPR使用表示编码书进行多模态对齐
该研究论文提出了一种基于聚类表示学习的多模态信号对齐方法，使用字典聚类编码将图像和文本编码到一个共同的编码空间中，并采用师生蒸馏的方法进一步优化学习过程，在多种视觉语言基准测试中取得了最新的最佳结果。
PDF2 years ago
CVPR三重对比学习视觉语言预训练
本研究提出了一种名为 TCL 的视觉 - 语言预训练三重对比学习框架，通过交叉模式对齐和内部模态自我监督来提高学习的代表性，并通过最大化图像 / 文本局部区域与全局摘要之间的平均互信息，取得了在图像 - 文本检索和视觉问答等任务中的优异表现
PDF2 years ago
UFO: 一种用于视觉和语言表示学习的统一 Transformer
本论文提出了一种统一的变换器（UFO），以处理单模态或多模态输入，进行视觉 - 语言表示学习。我们使用单个变压器网络并在 VL 预训练期间强制进行多任务学习，包括基于双向和 seq2seq 注意掩码的图像文本对比损失，图像文本匹配损失和遮
PDF3 years ago