vlp | BriefGPT - AI 论文速递

关键词vlp

搜索结果 - 12

自动驾驶的视觉语言规划
自主驾驶中的场景理解和推理是复杂而具有挑战性的任务。本文提出了一种新颖的 Vision-Language-Planning（VLP）框架，通过利用自然语言模型来弥合语义理解和自主驾驶之间的鸿沟，从而增强自动驾驶系统的规划性能，提高在挑战性场
PDF6 months ago
利用合成数据进行医学视觉 - 语言预训练：绕开真实图像的需求
利用合成图像从真实医学报告中生成的医学影像，可以有效地实现医学视觉与语言预训练 (VLP)，并且在图像分类、语义分割和目标检测等任务上，利用合成数据的性能与真实数据相当甚至超过。
PDF9 months ago
医学视觉语言理解和生成的多模型预训练：新基准的实证研究
通过提出一个高质量的医学放射照片数据集 (RadioGraphy Captions)，本文对医学领域的视觉 - 语言 (VL) 预训练 (VLP) 进行了深入的实验分析，得出了一些指导未来医学 VL 任务研究和新的强基准的关键结论。
PDFa year ago
CAILA: 概念感知内部层适配器用于组合式零样本学习
研究了组合零样本学习 (Compositional Zero-Shot Learning, CZSL) 的问题，并提出了一种新方法 CAILA，其中使用结构插座，增加了对 “对象”，“属性” 和 “组合” 的概念的知觉，相对于现有技术，CA
PDFa year ago
生物医学视觉语言处理的大规模领域特定预训练
本文介绍了 BiomedCLIP 在生物医学视觉语言处理方面的应用，该方法针对生物医学 VLP 进行改进和优化，实验结果显示，BiomedCLIP 已成为标准数据集中广泛应用于检索、分类和视觉问答等任务的新的最佳模型，且在某些领域甚至胜过了
PDFa year ago
ECCV面向持续视觉语言预训练的生成式负文本重播
本研究针对连续多模态学习中的遗忘问题，通过伪文本回放和多模态知识蒸馏的方法，实现了基于图像和文本对的连续预训练，大幅提高了零样本图像分类和图像 - 文本检索任务的性能。
PDF2 years ago
EMNLPPEVL：基于位置增强的预训练和提示微调的视觉语言模型
本研究提出了一种名为 PEVL 的显式目标位置建模方法，来提高 VLP 模型在特定视觉 - 语言任务（如指称表达理解和视觉常识推理）上的性能。该方法通过将离散化目标位置与语言内容整合到一个语言建模框架中，在预训练和提示微调阶段实现显式的视觉
PDF2 years ago
ACL通过视觉语言知识蒸馏实现在 CLIP 上的多模态生成
通过视觉 - 语言知识蒸馏 (VLKD) 增强双流 VLP 模型，使其具有多模态生成能力，实现开放式视觉问答和图像字幕等多模态生成任务的强零 - shot 性能。
PDF2 years ago
视觉 - 语言智能：任务、表示学习与大模型
这篇论文从时间的角度对视觉语言智能进行了全面的调研，总结了三个时期的发展，包括特定任务方法，视觉 - 语言预训练方法和通过大规模弱标签数据增强的更大模型，并讨论了未来的发展趋势.
PDF2 years ago
VLP：视觉语言预训练综述
本文调查了最近关于视觉 - 语言预训练 (VLP) 的进展和新前沿。这是第一篇关注 VLP 的综述文章，并对 VLP 模型做了具体总结，旨在为 VLP 领域的未来研究提供启示。
PDF2 years ago
探究跨模态：自注意力视觉解析用于视觉语言预训练
通过提出的全 Transformer 模型进行视觉 - 语言预训练（VLP），采用 Inter-Modality Flow（IMF）指标和遮盖特征回归（MFR）优化机制来增强视觉关系和视觉 - 语言分析，同时在各种视觉语言任务中取得了明显的
PDF3 years ago
ICMLViLT：无卷积或区域监督的视觉语言 Transformer
本文提出了一种新的 Vision-and-Language Pre-training 模型 ViLT，它是一种单体模型，与文本输入处理方式相同，并通过多模态交互步骤实现视觉输入处理。ViLT 通过简化图像输入处理过程，使得模型训练更加高效，
PDF3 years ago