Oct, 2023

关键词驱动的句子选择增强基于 BERT 的视觉问答

PDF
TL;DR本文描述了 PoliTo 对文档视觉问答竞赛的方法，特别是我们利用文本方法和特定的采样策略，通过细调 BERT 模型，关注包含敏感关键词的句子以回答自然语言问题，如引用表格或图片的问题，以实现高性能的结果。
document-based visual question answeringparent-child relationshipsmulti-page documentstext-only approachmasked language modeling
发现论文，激发创造
  • 答案句子选择的深度学习

    通过分布式表征学习语义编码，我们提出了一种新方法，用于解决回答句子选择的任务，该方法不需要任何特征工程或专业语言数据，可轻松适用于各种领域和语言，并在 TREC 标准基准数据集上达到了与最先进的性能相当的结果。

    Dec, 2014

  • 全句 VQA 的无监督关键词抽取

    本文提出了一种基于无监督学习的关键词提取方法，针对自然情境 VQA 任务，旨在准确抽取包含新信息的答案关键词，并将其与已知问题信息分离开来，实验证明该方法对含全句答案的 VQA 数据集能准确抽取关键词。

    Nov, 2019

  • 多页文档视觉问答使用自注意力评分机制

    多页文档视觉问答任务的新方法和有效训练策略，利用视觉特征对文档页进行相关性评分，可在多页场景中提供与最新技术相媲美的性能，且对 GPU 资源需求较少。

    Apr, 2024

  • 知识库问答中更好的查询图选择

    该研究提出了一种基于语义分析的新方法，以提高知识库问答（KBQA）的性能。该方法侧重于如何从候选集中选择最佳查询图，以从知识库（KB）中检索答案，实验结果证明，该系统在复杂问题上取得了最佳表现，并在 WebQuestions 上取得了第二佳表现。

    Apr, 2022

  • 直击事实：学习用于事实视觉问答的知识库检索

    本文介绍了一种基于学习嵌入空间的方法来解决知识库交互中的同义词和同形异义词问题，并在基于事实的视觉问答数据集上取得了超过 5％的最优结果。

    Sep, 2018

  • BERTVision-- 一种用于问答的参数高效方法

    提出一种高效的问答方法，通过利用 BERT 层每个 transformer 的隐藏状态激活信息（在典型的 BERT 推断中被丢弃）显著减少了对扩展 BERT 微调的需求，进一步通过与 BERT 预测集成的模型提高性能，并发现通过较少的训练数据可以实现接近最优的 QA span 注释性能， 该方法不仅适用于 span 注释，而且适用于分类任务，可能可推广到更广泛的任务范围。

    Feb, 2022

  • 用于答案定位的句子注意力模块

    提出了一种名为 “Sentence Attention Block” 的新型建筑模块，通过明确建模图像特征图与句子嵌入之间的相互依赖关系，重新校准了通道级图像特征图，以过滤基于句子嵌入的不相关特征图通道，进而实现了目前最先进准确度的提高。

    Sep, 2023

  • 基于知识引导的开放领域问答中的文本检索和阅读

    本研究提出了一种基于知识库和相关文章文本联合的开放领域问答方法，通过检索和阅读一个包含文本段的图表结构，并采用跨相关段落传播信息的方式更新文本段落表示，从而在 WebQuestions、自然问题和 TriviaQA 三个任务的数据集上实现了 2-11% 的性能提升。

    Nov, 2019

  • V-Doc：带有文档的视觉问答系统

    V-Doc 是一种使用文档图像和 PDF 文件的问答工具，主要用于帮助研究人员和普通非深度学习专家生成、处理和理解文档的视觉问答任务，支持使用文档图像生成和使用抽取式和生成式问答对，可用于各种数据集和模型，并且通过声明性、框架不可知平台高度可扩展。

    May, 2022

  • Boter: 基于知识的 VQA 的知识选择和问答引导

    Boter 框架是一个新型的知识选择和问答系统，通过利用多模态大型语言模型的强大感知能力，显著提升了开放域知识问答的性能，取得了 62.83％的最高准确率。

    Apr, 2024