multimodal question answering | BriefGPT

关键词multimodal question answering

搜索结果 - 7

多模态问题回答的统一信息提取
利用我们提出的多模态问答（MQA）框架，将多模态信息提取（MIE）任务统一为一个统一的片段提取和多项选择问答流水线，从而提高了各种类型的现成大型多模态模型在 MIE 任务上的性能，特别是在零样本和少样本情况下，我们的框架能够使 LMM 在与
PDF9 months ago
MMHQA-ICL: 文本、表格与图像的混合问答的多模态上下文学习
多模态问题回答（MMHQA）是一个具有挑战性的任务，我们提出了一个 MMHQA-ICL 框架，包括强大的异构数据检索器和图像描述模块，并首次使用了端到端 LLM 提示方法。实验结果表明，我们的框架在多模态问题回答上表现出色，优于所有基准线和
PDF10 months ago
LMEye：用于大型语言模型的交互式感知网络
本文提出了一种名为 LMEye 的交互感知网络，旨在提高 Large Visual Language Model 的图像理解精度。LMEye 网络包括一个静态视觉映射网络和一些负责获取请求、分解图像特征和传输交错信息的线性层。通过在多模态问
PDFa year ago
AAAISPRING: 面向增量布局图的多模态问题预训练坐标智能体的成立会话
本研究提出了一个多模态会话代理，称为 SPRING，能够在复杂的情境中进行多跳空间关系推理，并将它们与视觉属性相连接。利用增量布局图生成了两种类型的多模态问题回答任务进行预训练，实验证明 SPRING 在 SIMMC 1.0 和 SIMMC
PDFa year ago
DrugEHRQA：一个针对医学相关查询的结构化和非结构化电子病历问答数据集
该研究开发了第一个多模式药物电子健康记录问答数据集，其中包含从公开可用的电子健康记录中结构化表格和非结构化笔记中提取的问答对。研究目的是为多模式问答系统提供基准数据集，并通过使用非结构化临床数据的上下文来改善电子健康记录结构化数据上的问答。
PDF2 years ago
AAAIManyModalQA：多模态输入下的语式消歧和问答
本文提出了一个新的多模态问答挑战 ManyModalQA，在这里代理必须考虑三个不同的模态：文本、图像和表格。我们收集数据的方式是爬取维基百科，并利用众包收集问题 - 答案对。我们的问题是有歧义的，因为包含答案的模态不仅仅基于问题就易于确定
PDF4 years ago
基于音频问答的时间推理
本研究使用音频问题回答（Audio Question Answering，AQA）任务研究机器学习模型的时间推理能力，并提出 Multiple Auxiliary Controllers for Linear Modulation（MALi
PDF5 years ago