vision-language alignment | BriefGPT

关键词vision-language alignment

搜索结果 - 11

多模态大型语言模型中标记压缩与语义抽象的解耦
测量视觉 - 语言对齐中投影模块的有效性的问题尚未得到充分探索，本研究通过追踪语义相关流从生成的语言标记到原始视觉编码器块和投影模块的中间输出，揭示了 ' 双抽象 ' 现象。为了缓解这个问题，本研究提出了 “Decouple Compres
PDFa month ago
一种中间融合的 ViT 在扩散模型中实现了高效的文本 - 图像对齐
通过使用中间融合机制，我们在文本生成图像任务上获得了更高的 CLIP 得分，更低的 FID，与早期融合相比减少了 20% 的运算量，并且训练速度提高了 50%。
PDF3 months ago
RESTORE: 面向视觉语言提示学习的特征偏移
本论文研究了具有多模态模型的提示学习方法，指出单独优化某一模态路径上的提示会导致视觉 - 语言对齐度下降，因此提出了特征偏移和 RESTORE 方法来解决这一问题，并通过实验证明了该方法在保持特征对齐的同时优于现有的提示学习方法。
PDF4 months ago
CLIM：用于区域表示的对比性语言 - 图像拼贴
通过大规模的图像 - 文本对，借助 CLIM 方法实现区域与文本表示的对齐，改进开放词汇物体检测方法并加强视觉 - 语言模型的区域表示，提供更强实力的骨干，实验结果表明 CLIM 在 OV-COCO 和 OV-LVIS 基准上极大改进不同的
PDF7 months ago
PneumoLLM: 利用大型语言模型进行尘肺病诊断
传统的预训练和微调范式在常见疾病数据丰富的情况下有效，但在像尘肺这样的数据稀缺的职业病诊断中面临挑战。我们通过消除文本分支并将对话头替换为分类头的方式创新，在诊断中利用少量可学习参数更有效地利用大型语言模型。此外，为了在保留详细图像信息的同
PDF7 months ago
使用事实增强的 RLHF 对齐大型多模型
通过使用加强学习从人类反馈中获取的方法，我们提出了基于事实增强的视觉语言对齐算法，以解决大多模态模型中的模态不匹配问题，并在实际场景中取得了显著的改进。
PDF9 months ago
VGDiffZero: 文本到图像扩散模型可以进行零射击视觉定位
利用预训练的生成扩散模型直接应用于视觉定位的零阶视觉定位任务，以图文扩散模型为基础设计了一个全面的区域评分方法，证明了其在零阶视觉定位上的强大性能。
PDF10 months ago
MM纯文本训练视觉叙事
利用跨模态预训练的 CLIP 模型，结合纯文本数据训练的视觉条件故事生成器及不依赖训练的视觉条件规划器，提出了一种仅使用文本数据进行训练的视觉叙事方法，有效提高了视觉叙事的泛化能力。在 VIST 基准上进行的广泛实验以及表达多样性和人工评估
PDFa year ago
MM弱监督视频时刻定位的反事实跨模态推理
通过提出的反事实跨模态推理方法，我们发现和减轻了视频查询重构中的潜在虚假相关性，以执行合理的对比学习。
PDFa year ago
学习排序遇见语言：提升基于语言的序列分类的排序对齐
本文提出了一种基于自然语言处理的序列分类方法，包括相应的损失函数，并通过实验证明在面部年龄估计、历史彩色图像分类和审美评估等任务中表现良好
PDFa year ago
X-DETR：一种用于实例级视觉 - 语言任务的通用架构
本文提出一种名为 X-DETR 的算法，针对具有挑战性的逐实例视觉语言任务进行研究；X-DETR 的架构包括对象检测器、语言编码器和视觉语言对齐器；该算法采用弱监督来扩大知识覆盖范围，经测试准确率高且速度快。
PDF2 years ago