visual question-answering | BriefGPT

关键词visual question-answering

搜索结果 - 13

长视频理解语言库
本文介绍了一种语言仓库 (LangRepo)，用于长文本视频理解，通过维护简明有结构信息作为可解释的（即全文本）表示。该仓库基于多尺度视频块进行迭代更新，并引入了专注于修剪文本中的冗余信息和在各个时间尺度提取信息的写入和读取操作。该提出的框
PDF3 months ago
语言模型是否是解谜天才？算法解谜揭示多模态推理中的严峻挑战
这篇论文介绍了一项新颖的任务，即多模式拼图解决，其框架是视觉问题回答。我们提出了一个名为 AlgoPuzzleVQA 的新数据集，旨在挑战和评估多模态语言模型在解决需要视觉理解、语言理解和复杂算法推理的算法拼图中的能力。我们的研究表明，GP
PDF4 months ago
MiniGPT-v2：大型语言模型作为视觉语言多任务学习的统一接口
利用 MiniGPT-v2 建立一个统一的界面，有效地处理各种视觉 - 语言任务，包括图像描述、视觉问答和视觉定位等，并通过使用唯一标识符提高模型在每个任务中的学习效率。
PDF9 months ago
ACLHaVQA: 用于豪萨语视觉问答和多模态研究的数据集
本文介绍 HaVQA 数据集，这是用于哈萨语视觉问答任务的第一个多模态数据集。数据集包含来自视觉基因组的 1,555 张图像以及经过手工翻译的 6,022 个英文问题答案对，提供了 12,044 个英文 - 豪萨语平行语句，可用于进行基线实
PDFa year ago
SOCRATIC QUESTIONING 的艺术：利用递归思维和自问自答进行零样本多模态推理
本研究提出了 Socratic Questioning 算法，该算法模拟了人类在解决复杂问题时分治的思维过程，并应用于视觉问答任务，取得了在三个公共基准数据集上都显著超过对照组的性能提升。
PDFa year ago
通过多任务学习实现相对方向根据的全面 VQA 数据集：早期确定 “正确性” 含义
本文介绍了一种基于抽象物体的新型诊断性视觉问答数据集 GRiD-A-3D，以分析端到端 VQA 模型在相对方向上的地面能力的细粒度。同时，该数据集相对于现有数据集需要更少的计算资源，但具有相当甚至更高的性能。通过基于 GRiD-A-3D 训
PDF2 years ago
ACLQLEVR: 一个用于量化语言和基本视觉推理的诊断数据集
本文介绍了一个最小偏差、诊断性的视觉问答数据集 QLEVR，专注于集合概念和复杂量化，挑战了当前最先进的视觉问答模型的能力。
PDF2 years ago
感知得分：您的模型感知哪些数据模态？
本文提出了感知分数的概念，通过该指标对多模态数据集中的各种输入特征进行评估，发现最新的视觉问答或视觉对话多模态模型相较于它们的先驱越来越少重视视觉数据，这趋势引起了担忧，需要对此展开讨论并提出解决思路。
PDF3 years ago
使用冻结语言模型的多模式小样本学习
通过对齐图像和标题数据，我们训练一个视觉编码器将每个图像表示为一系列连续的嵌入，并使用预先训练的冻结语言模型来生成相应的标题，从而将这种少量样本学习能力转移至多模态设置。该系统是一种多模态少样本学习模型，具有学习各种新任务的惊人能力，如用只
PDF3 years ago
ICLR迭代学习用于 VQA 中的新兴系统性
通过使用迭代学习方法，作者提出了一种新的正则化技术来促进神经模块网络结构语言化的形成，从而使其支持系统化推理和解决复杂视觉问答任务。实验结果表明，在形成结构化语言方面，这种方法比基准方法更出色，并且对于 SHAPES-SyGeT 和 CLE
PDF3 years ago
ICLR低秩双线性池化的哈达玛积
该研究提出了一种低秩双线性池化的方法以提高多模式学习的效率，并在可视化问答任务中取得了优异的结果，具有更好的经济性特性。
PDF8 years ago
开放式视觉问答
研究使用深度学习框架解决视觉问答任务的方法，探索 LSTM 网络和 VGG-16、K-CNN 卷积神经网络提取图像特征，将其与问题的词嵌入或句子嵌入相结合进行答案预测。在 Visual Question Answering Challeng
PDF8 years ago
NIPS多模态残差学习用于视觉问答
介绍了 Multimodal Residual Networks（MRN），一种通过联合残差映射学习视觉问答的多模态系统，利用注意力模型的残差学习来将视觉和语言信息联合表示，获得了 Visual QA 数据集开放式和多项选择任务的最先进结果
PDF8 years ago