Mar, 2024

FOAA: 多模态肿瘤分类的平铺型外算术注意力

PDF
TL;DR通过融合多模态医疗数据，利用不同模态之间的互补性和相关性，本研究提出了一种简单有效的方法，受注意力机制的启发，从不同模态中融合具有区别性的特征。我们提出了一种新颖的注意力机制，称为 Flattened Outer Arithmetic Attention（FOAA），它依靠外部算术运算符（加法、减法、乘法和除法）从每个模态的扁平化嵌入中计算键、查询和值的注意力分数。我们演示了如何在自注意力和交叉注意力中实现 FOAA，为神经网络架构提供了可重复使用的组件。我们在两个多模态肿瘤分类数据集上评估了 FOAA，并取得了最先进的结果，证明了 FOAA 丰富的特征优于其他融合方法得到的特征。代码公开可用于此 https URL。
fusion of multimodal healthcare dataflattened outer arithmetic attention (foaa)attention mechanismmultimodal tumor classificationneural network architectures
发现论文，激发创造
  • 一比多注意力：可扩展多模态集成

    提出了一种新颖的领域中性注意机制，称为 One-Versus-Others（OvO）注意力，可在不降低准确性的情况下降低计算复杂度，并显示与流行的融合技术相比具有更高的性能。

    Jul, 2023

  • 关注注意力于图像描述

    本文提出了一种名为 Attention on Attention (AoA) 的模块，旨在扩展传统的注意机制以确定关注结果与查询之间的相关性，应用于编码器和解码器的图像字幕模型 AoANet 显示出了比以前的方法更好的性能，实现了 MS COCO Karpathy 离线测试拆分的 129.8 CIDEr-D 得分和官方在线测试服务器的 129.6 CIDEr-D (C40) 得分的最新技术水平。

    Aug, 2019

  • 高斯自适应注意力是你所需的一切：跨多种模态的强大情境表示

    多头高斯自适应注意力机制（GAAM）和高斯自适应变换器（GAT）能够增强跨多种模态（包括语音、文本和视觉）的信息聚合，有效提升模型性能，特别是在处理高度非平稳数据时的准确度可以提升 20% 左右，并通过识别特征空间中的关键元素，进一步展示了模型的适应性和潜力。GAAM 不仅兼容基于点积的注意力模型，而且参数较少，展现了其对现有注意力框架的提升能力和潜在价值。通过实验证明，GAAM 在多种任务上具备出色的适应性和效果，包括情感识别、图像分类和文本分类，从而显示出其在处理多模态数据方面的健壮性和多功能性。此外，该研究还引入了重要性因子（IF），一种基于学习的度量指标，增强了 GAAM 方法训练模型的可解释性。总体而言，GAAM 代表了跨多模态的注意力模型在性能和可解释性方面的进展。

    Jan, 2024

  • Kronecker 注意力网络

    本文提出了一种新的观点，即将数据定义为矩阵变量正态分布，并开发了一种直接运用于高维高阶张量数据的 Kronecker 注意力机制，相较于传统注意力机制，本文提出的方法大大降低了计算资源的需求，并在性能上优于未采用注意力机制和采用传统注意力机制的模型。

    Jul, 2020

  • 基于视觉搜索与文本反馈的模态无关注意力融合

    本研究采用自然语言反馈的图像检索方法，结合图像与文本特征实现细粒度视觉搜索并提出了 MAAF 模型，在 Fashion IQ 和 CSS 数据集中比现有方法表现更优，同时在 Fashion200k 数据集中也取得竞争性表现。此外，我们还提出了两个适用于丰富语言输入的新挑战基准，并通过实验证明该方法在不修改时优于强基线。最后我们在 Fashion IQ 上进行了深入细致的分析和可视化，揭示了单词避免 “关注” 他们所指图像区域的惊人现象

    Jun, 2020

  • AdaFuse：基于空间频率交叉注意力的自适应医学图像融合

    通过频率引导的注意力机制，交叉注意力融合和损失函数来实现多模式医学图像融合，提高融合图像的质量和保留细节。

    Oct, 2023

  • FcaNet: 频率通道注意力网络

    该论文提出了在频域进行特征分解以解决通道表示问题的方法，使用多光谱通道注意力机制来实现通道压缩，并在图像分类、物体检测和实例分割任务上取得了优异的效果。

    Dec, 2020

  • 应用关注图扩增进行超复数乳腺癌分类

    通过提出的参数化超复杂关注地图（PHAM）框架，我们展示了其在乳腺癌图像分类方面的有效性，该框架使用深度学习技术和关注地图来改善诊断性能，并在乳腺癌图像和组织学图像方面超越了基于注意力的最先进网络和现有方法的实值版本。

    Oct, 2023

  • 基于物理启发的 SAR 目标识别的混合关注

    研究在 SAR 目标识别中引入物理模型和深度神经网络的融合，通过引入属性散射中心参数等数据进行性能改进和物理可解释性提高；然而，当前评估方案不足以评估模型的稳健性和泛化能力。因此，本文提出了基于物理的混合注意力机制和一劳永逸的评估协议来解决这些问题，并在多个测试集上对模型进行了严格评估，实验表明我们的方法在 12 个具有相同属性散射中心参数的测试场景中表现优于其他最先进的方法。

    Sep, 2023

  • 改进的视觉问答注意力机制

    本文提出了一种改进的基于注意力机制的架构，其中包括一个对注意力结果和查询进行关系确定的 AoA 模块，并提出了多模态融合模块来组合视觉和文本信息，结果在 VQA-v2 基准数据集上达到了最先进的性能。

    Nov, 2020