Feb, 2022

注意力网络更具弹性吗？关于注意力网络的精确弹性验证

PDF
TL;DR本研究探讨了注意力网络（ATNs）的稳健性问题，将其最大稳健性的搜索归约为混合整数二次约束规划（MIQCP）问题，并设计了两种启发式预处理方法，通过研究比较 Sparsemax-based ATNs 与 Multi-Layer-Perceptron（MLP）神经网络的鲁棒性，发现选择适当的神经网络架构对于安全关键领域应用至关重要。
发现论文，激发创造
  • Transformer 模型健壮性验证

    本文提出了一种适用于 Transformer 的鲁棒性验证算法，证明了其结果远优于 Interval Bound Propagation 算法，帮助理解了情感分析中不同单词的重要性。

    Feb, 2020

  • 深度状态空间模型的对抗鲁棒性探索

    深度状态空间模型（SSMs）面临着真实世界部署中的对抗性扰动（APs）所带来的严重安全挑战。本研究评估了 SSMs 的不同结构变种在对抗训练（AT）中的对抗鲁棒性（AR）表现，并发现引入注意力机制对于 SSMs 在 AT 中具有更好的稳健性和泛化性之间的权衡，并提出了一种简单而有效的自适应缩放（AdS）机制以解决引入 RO 问题的困境。

    Jun, 2024

  • 神经机器翻译的稀疏和约束注意力

    本文提出了一种新颖的方法来解决 NMT 中的 “coverage problem”，通过给源语言单词分配 “fertilities” 来限制每个单词可以接收的注意力，同时提出了一种新的稀疏的注意力变换方式 “sparsemax”，并在三种语言对上进行实证评估。

    May, 2018

  • 高效 Transformer 及其扩展的神经架构搜索

    本文采用神经架构搜索技术，提出了一种优化 Transformer 架构的新框架，以增强其效率，并通过机器翻译和图像分类任务进行验证。实验表明，优化后的 Transformer 架构在计算效率方面得到提升，但与标准 Transformer 相比，其整体精度略有下降，这表明了深度学习模型的精确性和效率之间的平衡问题。因此，本文提出了将 Softmax attention 和 efficient attention 混合使用的方法以达到平衡性。

    Jul, 2022

  • 一种用于稀疏和结构化神经注意力的正则化框架

    提出了一种基于平滑的最大值算子的新的稀疏和结构化的注意力机制，它不仅包括 softmax 和稀疏 max 作为特例，还可以融合现代结构惩罚，可以应用于神经网络中，在文本蕴含、机器翻译和句子摘要等任务中表现良好，提高了可解释性并保持性能优越。

    May, 2017

  • 无概率笼的标准化注意力

    本文介绍了 softmax-attention 在几何上的局限性，并提出采用归一化代替 softmax 实现自我注意力，从而获得超参数和数据推断鲁棒性较强的通用结构。

    May, 2020

  • 人工神经网络的最大弹性

    本文探讨了将人工神经网络应用于安全关键领域中时面临的验证和认证挑战，提出基于属性的解决方案，通过混合整数优化问题的编码启发将 ANN 的最大弹性边界计算问题转化为解决 MIP 问题，并开发了多种 MIP 编码启发式方法，可极大地降低 MIP 求解器的运行时间，通过实验验证了该方法的高效性和可扩展性。

    Apr, 2017

  • 注意力遇到扰动：通过对抗训练实现鲁棒性和可解释性的注意力机制

    本文提出对自然语言处理任务进行通用训练的技术，包括关注力对抗训练（Attention AT）和更易于解释的关注力对抗训练（Attention iAT）。该方法通过引入对抗扰动，增强了句子注意力的差异，提高了模型的预测性能和可解释性，并且尤其适用于关注力机制。实验表明，Attention iAT 在十项任务中表现最佳，并且其结果的注意力与基于梯度的单词重要性的相关性更强。此外，该方法不太依赖于对抗扰动的大小。

    Sep, 2020

  • 基于 Transformer 的自适应稀疏和单调注意力自动语音识别

    研究将稀疏和单调注意力引入基于 Transformer 的自动语音识别，以克服传统 Transformer 中针对流式识别的自我注意和多头注意的局限性，并在多项基准测试中取得了良好的效果。

    Sep, 2022

  • 自适应稀疏变压器

    介绍了自适应稀疏转换器，使用 α-entmax 代替 softmax，可以适应性地学习头部偏爱的结构，并改善了 softmax 转换器在机器翻译数据集上的可解释性和头部多样性。

    Aug, 2019