NIPSMay, 2015

多语种图像问答的数据集及方法：您正在与机器交流吗？

PDF
TL;DR本文介绍了基于 LSTM 和卷积神经网络的 mQA 模型，其可针对图像内容回答包括中英文在内的多语言问题，并使用 Freestyle Multilingual Image Question Answering (FM-IQA) 数据集进行评估，结果表明该模型在 64.7% 的情况下与人类回答无异，评分为 1.454。
发现论文，激发创造
  • FashionVQA：一种特定领域的视觉问答系统

    该论文训练了一个视觉问答系统，使用多种模态的数据来回答关于时尚照片中服装的自然语言问题。他们使用大规模的领域特定的多模态数据集来训练该系统，该数据集使用模板自动生成，模型的最高准确性超过了人类专家水平。

    Aug, 2022

  • OpenViVQA: 越南语视觉问题回答任务、数据集和多模态融合模型

    本文介绍了 OpenViVQA：首个包含越南语开放式答案的大规模 VQA 数据集，包括 11,000 + 图像和 37,000+ 问答对，并提出了三个融合图像和答案信息的方法（FST，QuMLAG 和 MLPAG），并使用这些融合的特征构建答案，旨在促进研究社区针对越南语这类低资源语言开发出更广义的算法，结果与 SOTA 模型竞争力相当。

    May, 2023

  • 问你神经元：基于神经网络的图像问答系统

    利用图像表示和自然语言处理的最新进展，我们提出了一种端到端形式的 Neural-Image-QA 解决方案来回答真实世界图像上的问题，我们面临一个多模态问题，其中语言输出（答案）是基于视觉和自然语言输入（图像和问题）的，我们的方法可以使已有研究成果的表现效果成倍增加，并提供了关于该问题的额外见解，包括研究人类共识的两个新指标并扩展了初始数据集到 DAQUAR-Consensus。

    May, 2015

  • MultiModalQA: 文本、表格和图像的复杂问答

    本文介绍了一个名为 “MultiModalQA (MMQA)” 的数据集，该数据集需要通过对文本、表格和图像的联合推理来回答问题。作者还创建了一个新框架来生成复杂的多模态问题，并演示了多模态多跳方法在解决这一任务中的必要性。

    Apr, 2021

  • ZusammenQA：专用模型数据增强的跨语言开放检索问答系统

    该论文提出了一种用于 COQA 多语言问题解答的系统，该系统使用多种模型变体在数据增强、语段检索和答案生成三个主要组件上进行了研究，并结合语言模型预训练和数据增强等方法有效提高了针对低资源语言的表现。

    May, 2022

  • 学习回答多语言和混合代码问题

    本论文聚焦于在多语言环境下推进处理末端用户问题的 QA 技术，涉及多语性和混编等问题并提出了一种多文档利用的多跳问题生成技术，实验证明该方法可在 MQA、VQA 和语言生成等多个领域和语言中达到最先进的表现，是通用的，可用于提高 QA 系统性能。

    Nov, 2022

  • 将多语言模型应用于问答（QA）

    研究单语和多语言语言模型在英语、芬兰语和日语问答任务中的表现，并开发用于判断问题是否可回答和标识上下文中答案的模型，并尝试评估预训练的多语言编码器（Multilingual BERT）在跨语言零 - shot 学习中的效果。

    Dec, 2022

  • 跨语言视觉问答

    本文提出了 xGQA，一个用于跨语言视觉问答任务的新的多语言评估基准，并使用适配器方法将多模型变换器模型扩展为多语言模型，结果表明简单的跨语言模型转移会导致多语言多模态失配，需要更复杂的方法来进行跨语言视觉和多语言语言建模

    Sep, 2021

  • 多问题多答案文本视觉问答

    通过多问多答（MQMA）方法，在编码 - 解码变压器模型中进行文本 - VQA（Visual Question Answering）。通过多次将不同问题和内容输入到模型中进行预测，实现对同一图像的多问题回答预测。提出几个新颖的架构修改来支持 MQMA，并且通过 MQMA 去噪的预训练任务，使模型能够对多个问题以及相关答案进行对齐和划分。在多个文本 - VQA 数据集上，MQMA 预训练模型实现了与先前最先进方法相比的明显改进（OCR-VQA：+2.5％，TextVQA：+1.4％，ST-VQA：+0.6％，DocVQA：+1.1％）。

    Nov, 2023

  • MLQA：评估跨语言抽取式问答

    该研究提出了一个名为 MLQA 的多语言提取式问答（QA）评估基准，旨在推动跨语言 QA 研究。 MLQA 包含 7 种语言的 QA 实例，并使用一种新颖的对齐上下文策略，基于 Wikipedia 文章构建，以此作为现有提取式 QA 数据集的跨语言扩展。

    Oct, 2019