Feb, 2024

具有低计算成本保证的多模态 Transformer

PDF
TL;DRTransformer-based models have significantly improved performance in multimodal understanding tasks, but suffer from high computational cost, so a Low-Cost Multimodal Transformer (LoCoMT) is introduced to reduce cost while maintaining or outperforming existing models.
transformer-based modelsmultimodal understanding taskslow-cost multimodal transformerattention mechanismcomputational cost reduction
发现论文，激发创造
  • 用于解释双模态和编码器 - 解码器 transformers 的通用注意力模型可解释性

    本文提出了第一个用于解释任何基于 Transformer 结构的预测的方法，包括双模态 Transformers 和具有协同注意力的 Transformers，通过考虑并行的多个注意力图来突出与模型输入预测相关的信息。我们将这种通用的解决方案应用于三个最常用的结构，并表明我们的方法优于所有现有的从单模态的可解释性方法进行改进的方法。

    Mar, 2021

  • 多模态注意力神经机器翻译

    本文将多模态注意力机制应用于图像字幕生成领域，通过在自然语言描述和图像上同时聚焦，实现了一种基于图像字幕的另一种语言描述生成方法，并在 Multi30k 数据集上取得了更好的效果。

    Sep, 2016

  • 多模态不对齐语言序列的多模态转换器

    该研究介绍了一种称为 MulT 的多模态转换器，利用方向性一对一跨模态注意力在不显式对齐数据的情况下，通用地解决了模型多模态人类语言时序数据中的两个主要挑战，即内在数据非对准性和跨模态元素之间的长程依赖关系。

    Jun, 2019

  • 多模态转换器中数据、注意力和损失的解耦

    本文章论述通过训练多模态 transformer 模型，其在语言和视觉任务上的表现证明了其可以学习到丰富的视觉 - 语言表达。其着重于零样本图像检索任务，并研究了三个重要因素：预训练数据、注意机制和损失函数，以评估其对于模型性能的影响。

    Jan, 2021

  • 学习多模态表示的自适应 Transformer

    研究 transformers 中的注意机制对视觉和语言任务的扩展，并发展适应性方法来提高模型的可解释性和计算效率。具体地，研究注意范围、稀疏和结构化 dropout 等方法，以帮助了解模型对输入序列的复杂性感知和对不同模态的稀疏性偏好。

    May, 2020

  • LILE: 使用 Transformer 的双重注意力网络进行组织病理学资料检索前深入查看

    提出了一种使用自注意力作为额外损失项的新架构，以在联合潜在空间中表示图像和文本；在 MS-COCO 和 ARCH 两个基准数据集上进行的实验结果表明，该方法具有很好的效果。

    Mar, 2022

  • CoCoT: 大型多模型多图像输入的对比思维链接引导

    当探索人工通用智能（AGI）的发展时，大型多模态模型（LMMs）在处理多个图像输入的信息时面临两个问题：细粒度感知的缺乏和融合多个图像的倾向。我们首先广泛研究了 LMMs 在处理多个输入图像时感知细粒度视觉细节的能力。研究集中在两个方面：首先，图像与图像匹配（评估 LMMs 是否能够有效推理和配对相关图像），其次，多图像与文本匹配（评估 LMMs 是否能够准确捕捉和总结详细的图像信息）。我们对一系列开源和闭源的大型模型进行评估，包括 GPT-4V，Gemini，OpenFlamingo 和 MMICL。为了增强模型性能，我们还基于多输入多模态模型开发了一种对比的思维链（CoCoT）启发方法。该方法要求 LMMs 比较多个图像输入的相似性和差异性，然后根据确定的相似性和差异性指导模型回答关于多图像输入的详细问题。我们的实验结果展示了 CoCoT 在增强大型多模态模型的多图像理解能力方面的熟练度。

    Jan, 2024

  • 论多模态推理中神经网络的泛化能力

    评估了多模态泛化的综合性能，发现多层注意力和跨模态注意力是整合多模态输入所需的关键架构特征，但对于有限类型的多模态泛化存在基本限制，强调了现代神经模型在多模态推理方面的优势和局限性。

    Jan, 2024

  • 在预训练的 Transformer 中找到并编辑多模态神经元

    通过一系列实验，我们提出了一种基于多模态神经元的新方法，用于识别基于变压器的多模态大型语言模型中的多模态神经元，并通过四个精心设计的定量评估指标突出了多模态神经元的三个关键属性。此外，我们介绍了一种基于识别的多模态神经元的知识编辑方法，用于将一个特定标记修改为另一个指定标记。我们希望我们的发现能够激发对多模态大型语言模型理解机制的进一步解释性研究。

    Nov, 2023

  • 用于视觉对话的高效注意机制，可处理多个输入之间的所有交互

    本文提出了一种名为 LTMI 的神经网络结构，它可以有效地处理多个输入源之间的交互，从而在视觉对话任务中取得良好的表现，在 VisDial 数据集上将最佳 NDCG 得分从 57.59 提高到 60.92，使用多个模型可以提高到 66.53，采用微调可达到 74.88。

    Nov, 2019