visual commonsense reasoning | BriefGPT

关键词visual commonsense reasoning

搜索结果 - 13

视觉 - 语言 Transformer 是否具备视觉常识？对 VCR 的经验研究
此研究旨在通过提供合理的理由作为预测答案的原因，解释并回答视觉场景问题。尽管 Vision-Language Transformers 在表现上令人满意，但它们存在预训练效果有限、意外的语言偏见、模型架构受限和忽视重要的物体 - 标签相关性
PDFa month ago
EventLens: 利用事件感知预训练和跨模态链接提升视觉常识推理
通过引入事件感知预训练辅助任务和跨模态链接，并使用指令式提示和任务特定适配器来提高大型语言模型在视觉常识推理任务上的效果。
PDF2 months ago
通过空间关系建模改进视觉语言推理
通过构建空间关系图并设计两种预训练任务，即目标位置回归和空间关系分类，本研究提出的方法在 VCR、VQA 和 NLVR 三个视觉与语言推理任务中取得了最先进的结果。
PDF8 months ago
ViCor：用大型语言模型桥接视觉理解和常识推理
我们的研究工作探索了预训练的视觉语言模型（VLM）和大型语言模型（LLM）在视觉常识推理（VCR）中的协同能力。我们将 VCR 问题分为视觉常识理解（VCU）和视觉常识推断（VCI）两个方面。在 VCU 方面，预训练的 VLM 展示出强大的
PDF9 months ago
EMNLP图像文本生成的进展 —— 以自我合理化为案例研究
探索多模态模型在联合图像和文本生成任务中的表现，并发现单一模型类型不能通用地在所有任务、数据集和微调数据大小上表现最佳，加深了对从图像和文本生成超越图像字幕的新型通用骨干方法的需求。
PDF2 years ago
利用单模编码器进行视觉语言任务的多模适应蒸馏
提出了一种名为 MAD 的方法，可以使用预训练的单模态视觉和文本编码器对跨模态 VL 编码器进行自适应蒸馏，从而提高了跨模态学习的性能，特别是在 VCR 领域取得了 SOTA 表现。
PDF2 years ago
基于注意力机制的认知层场景理解
本文介绍了一个新的并行注意力的认知 VCR 网络（PAVCR 网络），该网络能够在推理过程中进行視覺和文本信息的融合，以及并行编码语义信息，从而捕捉认知级别推理所需的丰富信息，并提供了对视觉常识推理的直观解释。大量实验表明，所提出的模型比现
PDF2 years ago
AAAISGEITL: 基于场景图增强的图像 - 文本学习，用于视觉常识推理
该论文提出了一种场景图增强的图像 - 文本学习框架，其中利用视觉场景图结构进行常识推理，通过多跳图变压器实现模型结构的正则化，引入了一种利用文本注释进行域相关的视觉场景图训练和生成的弱监督学习方法并在 VCR 和其他任务中进行了广泛的实验，
PDF3 years ago
使用动态工作记忆的认知视觉常识推理
本文提出了一种基于动态工作内存的认知视觉常识推理网络，通过存储句子之间积累的常识来提供先验知识进行推理，可以显著改进现有方法，在视觉常识推理方面提供了直观的解释。
PDF3 years ago
ECCVVisualCOMET：推理静态图像的动态上下文
提出了一种名为 VisualComet 的框架，用于预测图片中可能发生的事件、人物意图和接下来可能发生的事件，并建立了一个包含超过 1.4 百万个文本描述和各种图像的广泛集合。此外，研究者在图片和文本之间建立了紧密的链接，以确保在视觉和文本
PDF4 years ago
异构图学习用于视觉常识推理
本文提出了一种新的异构图学习框架（HGL），用于在视觉和语言领域之间建立联系，以帮助解决视觉常识推理的挑战，该框架包括主要的 VAHG 模块和双重 QAHG 模块以及上下文投票模块，能更好地进行全局推理。在大规模的视觉常识推理基准测试中，实
PDF5 years ago
基于文本中检测物体的视觉问答融合
该研究论文介绍了一种结合视觉和自然语言的简单而强大的数据的神经体系结构；该架构称之为 “Bounding Boxes in Text Transformer”（B2T2），并且在统一架构中利用指涉信息将单词绑定到图像部分。B2T2 在 Vi
PDF5 years ago
CVPR从识别到认知：视觉常识推理
该研究论文旨在推进计算机视觉模型的视觉常识推理能力。研究者针对这一目标，提出一项包含 290k 多选题的新数据集 VCR，并使用基于对抗匹配的方法进行添加问题。通过引入新的推理引擎 - Recognition to Cognition 网络
PDF6 years ago