IJCAIApr, 2024

基于表示的孪生文本匹配中的选择性特征关注建模

PDF
TL;DR基于表征的孪生网络在轻量级文本匹配中因其低部署和推理成本而变得流行。我们提出了 Feature Attention（FA），一种新颖的下游模块，旨在丰富嵌入特征之间的依赖建模。该模块动态调整对个体特征的强调，使网络更集中于对最终分类有重要贡献的特征。在 FA 的基础上，我们引入了一种名为 Selective Feature Attention（SFA）的动态 “选择” 机制，利用了堆叠 BiGRU Inception 结构。该模块通过遍历不同的堆叠 BiGRU 层，促进网络集中关注跨不同抽象级别的语义信息和嵌入特征，从而实现多尺度语义提取。FA 和 SFA 模块都能无缝集成到各种孪生网络中，并展示了即插即用的特性。对多样的文本匹配基线和基准进行的实验评估强调了建模特征注意力的必要性以及 “选择” 机制的优越性。
representation-based siamese networksfeature attention (fa)selective feature attention (sfa)squeeze-and-excitation techniquesmulti-scale semantic extraction
发现论文，激发创造
  • 特征选择的序列注意力

    该研究提出一种名为 Sequential Attention 的特征选择算法，使用注意力权重作为特征重要性的代理，实现了神经网络的最新实证结果；通过在线性回归方面提出的理论分析，可与经典的 Orthogonal Matching Pursuit (OMP) 算法等效，并继承了所有的可证明的保证；理论和经验分析为注意力的有效性及其与过度参数化的联系提供了新的解释。

    Sep, 2022

  • 卷积神经网络中的基于特征的注意力

    该论文介绍了将基于特征的注意力 (feature-based attention) 应用于卷积神经网络的简单方法，并与多种实现选项进行比较，实现了在处理具有噪声或混杂情况下的图像对象检测任务时的性能提升，并验证了生物学特征相似性增益模型在提高性能上的有效性。

    Nov, 2015

  • 自注意力网络的特征重要性估计

    本文旨在探索利用基于注意力机制的神经网络对特征进行重要性排序以用于模型解释的方法，通过对十个数据集进行规模无关的特征重要性估计算法比较的研究，展示了利用自注意力网络（SAN）对特征进行排序与其他方法在高级别特征识别上的相似性，以及在某些情况下，SAN 对特征交互性的识别比现有基线方法更具优势。

    Feb, 2020

  • 忠实关注解释器：基于辨别特征的决策语言化

    我们提出了 Faithful Attention Explainer（FAE）的框架，用于生成关于关注特征的忠实文本解释，并展示了该模型在生成图像描述和解译人类注意力方面的良好性能。

    May, 2024

  • 特征注意力网络（FA-Net）：基于深度学习的水下单张图像增强方法

    提出了一种基于深度学习和特征注意力的端到端网络（FA-Net），用于解决水下图像处理和分析中的低频信息限制问题，其中 Residual Feature Attention Block (RFAB) 结合了通道注意力，像素注意力和残差学习机制，并通过多跳连接跳过低频信息，取得了比现有方法更高的定量和定性精度以及优越性。

    Aug, 2023

  • 随机特征注意力

    提出了一种名为 RFA 的注意力机制，它能够有效地处理长序列，同时在语言模型和机器翻译任务方面表现出与常规 transformer 模型相似或更好的性能，并且在机器翻译实验中，RFA 的解码速度是普通 transformer 的两倍。

    Mar, 2021

  • MFA-Net：肝肿瘤分割的多尺度特征融合注意力网络

    一个基于注意力机制的新型切割框架 MFA-Net（多尺度特征融合注意力网络）在医学 CT 图像中分割器官感兴趣区域，通过学习多个尺度的特征图并与现有方法进行比较，实验结果表明 MFA-Net 在不同尺度的图像上产生更加精确的分割。

    May, 2024

  • 基于注意力引导的特征蒸馏用于语义分割

    提出的注意力引导特征蒸馏（AttnFD）方法利用精细特征图来传递关注力，证明了其在语义分割中提取丰富信息的有效性，通过只使用教师和学生的精炼特征图之间的均方误差（MSE）损失函数，在 PascalVoc 2012 和 Cityscapes 数据集上实现了语义分割的最佳性能（mean Intersection over Union，mIoU 达到了最新水平）。

    Mar, 2024

  • 增强功能词关注网络用于少样本逆向关系分类

    本文提出了一种自适应增强注意力框架（FAEA）用于少样本逆关系分类，其中设计了一种混合注意模型来关注基于元学习的类别相关功能词，并引入自适应消息传递机制来捕获和转移类间差异，实验证明 FAEA 优于现有模型，特别是在 FewRel1.0 的 1-shot 配置下，逆关系准确率提高了 14.33％。

    Apr, 2022

  • 一种基于多尺度特征融合的轻量级注意力深度网络用于多视角面部表情识别

    通过引入轻量级的关注网络，以及多尺度特征融合，本研究的主要目标是克服在实际应用中计算复杂性和多视角头部姿势方面所面临的挑战，该方法在参数数量和对姿势变化的鲁棒性方面达到了业界先进方法的水平。

    Mar, 2024