Jan, 2019

Bilinear 超对角线融合在视觉问答与视觉关系检测中的应用

PDF
TL;DR该研究着眼于多模态表征学习中的问题，提出一种基于块超对角张量分解的多模态融合模型 BLOCK，该模型比传统双线性模型具有更好的表达能力和效率，在视觉问答等任务中表现出了优异的结果。
multimodal representation learningbilinear modelsblockblock-superdiagonal tensor decompositionvisual question answering (vqa)
发现论文，激发创造
  • MUTAN: 视觉问答的多模态 Tucker 融合

    本研究介绍了一种名为 MUTAN 的多模态张量分解方法，它可以有效地参数化视觉和文本表示之间的双线性交互作用，并引入低秩矩阵分解以限制交互秩。实验结果表明，该方法在视觉问答任务中具有较高的准确性。

    May, 2017

  • 视觉问答的紧凑三线性交互

    提出了一种新型的三线性交互模型，采用了多模张量分解和知识蒸馏技术，实现了在视觉问答领域中的最先进结果。

    Sep, 2019

  • 多模式因式双线性池化与 Co-Attention 学习在视觉问答中的应用

    开发了一个多模式因式双线性池化（MFB）方法，通过 MFB 方法的融合和对视觉和文本信息的细粒度表示，结合协同注意力机制，在视觉问题回答中达到了最先进的成果。

    Aug, 2017

  • 双线性注意力网络

    本研究提出了一种基于双线性注意力网络的多模态学习方法，通过提取双线性交互特征来优化多模态输入的注意力分布，以提高视觉问题回答（VQA）和 Flickr30k 数据集上的性能表现。

    May, 2018

  • 视觉问答的多模态潜在交互网络

    该研究提出了一种多模态潜在交互模块（MLI），用于学习图像问题答案中潜在的视觉和语言信息之间的跨模态关系，从而最大化地汇总了两种信息来源，并且与预训练语言模型 BERT 结合可以显着提高性能，达到了竞争性的结果。

    Aug, 2019

  • 多模态紧凑双线性池化用于视觉问答和视觉定位

    本文探讨了利用从大型语言或视觉数据集训练得到的向量表示来建模文本或视觉信息，提出并评价了 Multimodal Compact Bilinear pooling (MCB) 的表现优于传统的多模态平均池化方法，并通过在视觉问答和定位任务中应用，佐证出 MCB 的有效性和高表达性。

    Jun, 2016

  • 超越双线性：面向视觉问答的广义多模态分解高阶池化

    本文利用深度神经网络中的协同注意机制与通用的多模式高阶因式化池化方法实现多模态特征的融合，使用 KL（Kullback-Leibler）散度作为损失函数，最终实现了优越的视觉问答表现。

    Aug, 2017

  • TFusion：基于 Transformer 的 N 到 One 多模态融合块

    本文提出了一种基于 transformer 的多模态融合块 TFusion，采用 tokens 和 transformer layers 自动学习融合可用多模态，引入 modal attention 机制减少依赖于特定模态，可用于多模态人体活动识别和脑肿瘤分割任务，并取得了更好的性能表现。

    Aug, 2022

  • 模块化混合注意力网络用于视频问答

    多模态机器学习中的网络结构复杂，通过连接可重用且可组合的神经单元，可以以更直观的方式完成多模态机器学习任务的网络构建，同时通过参数共享大大减少了空间复杂度。

    Nov, 2023

  • 使用指针增强多模态 Transformer 进行迭代式答案预测的 TextVQA

    本研究提出了一种基于多模态 Transformer 架构的新型 TextVQA 模型，采用自我注意力机制进行不同模态的融合，并通过动态指针网络进行迭代式答案解码，相比于现有方法大幅度提高了 TextVQA 任务的性能。

    Nov, 2019