ISAAQ -- 基于预训练 Transformer 和自上而下、自下而上注意力机制的教科书问题解答

EMNLPOct, 2020

ISAAQ -- 基于预训练 Transformer 和自上而下、自下而上注意力机制的教科书问题解答

ISAAQ -- Mastering Textbook Questions with Pre-trained Transformers and Bottom-Up and Top-Down Attention

Jose Manuel Gomez-Perez, Raul Ortega

TL;DR本文提出了一种基于 transformer 语言模型和自下而上和自上而下的注意力机制的教科书问答系统，能够成功地解决文本和图像相结合的复杂任务。

Abstract

textbook question answering is a complex task in the intersection of Machine Comprehension and visual question answering that requires reasoning with multimodal information from text and diagrams. For the first t

textbook question answering machine comprehension visual question answering transformer language models bottom-up and top-down attention

发现论文，激发创造

一种上下文感知的交互问答注意力网络

该研究开发了一种基于上下文依赖词级别注重和问题引导的句子级别注意力的新型模型，以更准确地理解文本，加强上下文建模，可以在交互式问答场景中处理不完整或模糊信息，大大提升了传统 QA 模型的表现。

Dec, 2016

视觉问答中的问题类型引导注意力机制

本文提出了一个名为 Question Type-guided Attention (QTA) 的方法，利用问题类型信息动态平衡从 ResNet 和 Faster R-CNN 网络中分别提取的自下而上和自上而下的视觉特征。在 TDIUC 数据集上进行了多项输入实验，并显示 QTA 显著提高了多个问题类型类别的性能，例如 “活动识别”、“效用” 和 “计数”。添加 QTA 后，我们在最先进的 MCB 模型上实现了 3％的总体准确度提高。最后，我们提出了一个多任务扩展以预测问题类型，在缺少问题类型的应用程序中推广 QTA，性能损失最小。

Apr, 2018

基于自下而上和自上而下的注意力机制用于图像字幕生成与视觉问答

本篇研究提出一种混合自下而上和自上而下视觉关注机制，能在对象和其他显著图像区域的水平上计算注意力权重，实现更深入图像理解，将其应用于图像字幕生成和视觉问答任务中，取得了优于现有技术的成绩。

Jul, 2017

基于 Transformer 的语言模型在抽取式问答中的比较研究

本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

Oct, 2021

把检索视为注意力：单个 Transformer 内检索和阅读的端到端学习

通过使用 Retrieval as Attention (ReAtt) 和 Transformer，我们的研究表明，通过端到端的培训，单个模型可以同时实现有竞争力的提取和问答表现，在监督和无监督的设置中显著提高其在超领域数据集上的性能。

Dec, 2022

VQA 模型中的注意力模式零 - shot 翻译为自然语言

ZS-A2T 是一个零射击框架，将给定模型的转换器注意力转换为自然语言而无需任何训练，以可理解形式提供关于该模型的见解。它在视觉问答（VQA）的上下文中构建在预训练的大型语言模型上，并通过利用 VQA 模型的文本 - 图像匹配能力来确定其相似性，从而实现了无需训练并能够替换不同引导来源（例如属性而非注意力矩阵）或语言模型的框架。在 VQA 的文本解释数据集上进行了评估，并在 GQA-REX 和 VQA-X 的零射击设置中达到了最先进的性能。

Nov, 2023

面向 TextVQA 的空间感知多模态 Transformer

本研究提出了基于 TextVQA 任务的一种新型空间感知自注意力模型，可以有效地推理图像中的文本内容，改进了 TextVQA 和 ST-VQA 两个关键指标，同时为视觉绑定的研究方向提供了新的思路。

Jul, 2020

改进的视觉问答注意力机制

本文提出了一种改进的基于注意力机制的架构，其中包括一个对注意力结果和查询进行关系确定的 AoA 模块，并提出了多模态融合模块来组合视觉和文本信息，结果在 VQA-v2 基准数据集上达到了最先进的性能。

Nov, 2020

基于注意力引导的生成模型用于抽取式问答

本文提出了一种新的方法，利用 Transformer 模型进行抽取式问答。该方法利用预训练的生成式模型，并结合内部 cross-attention 机制实现了良好的表现，同时使用较少的参数，使模型能够进行幻觉式推断，并提高模型重排相关段落的能力。

Oct, 2021

TOPIQ：一种从语义到畸变的自上而下图像质量评估方法

我们提出了一种顶部向下的方法，利用高层语义指导图像质量评估网络集中在具有语义重要性的局部失真区域，命名为 TOPIQ。我们的方法涉及设计一种启发式的粗到细网络（CFANet），它利用多尺度特征并以自上而下的方式逐步传播多级语义信息到低级表示。该方法的一个关键组成部分是我们提出的跨尺度注意力机制，该机制通过高层特征引导计算低层特征的注意力图。CFANet 可用于全参考（FR）和无参考（NR）图像质量评估，并且在大多数公开基准测试中相对于基于视觉变换器的现有方法取得了更好或有竞争力的性能。

Aug, 2023