Oct, 2022

使用鲁棒核密度估计设计健壮性 Transformer

PDF
TL;DR该论文研究了如何对 Transformer 架构应用一系列可靠的核密度估计方法，使其具有鲁棒性，实现对于污染数据的稳健性，并在语言模型和图像分类任务中进行了多项实证研究，结果表明该方法在多种场景下具有高鲁棒性。
transformer architectureself-attention mechanismkernel density estimationrobustnessimage classification
发现论文，激发创造
  • 可训练前馈核线性自注意力近似

    本文旨在将可训练的核方法的思想扩展到逼近 Transformer 架构的自注意机制，以实现更快的计算和更高的准确率。

    Nov, 2022

  • Transformer 分解：通过核的视角统一理解 Transformer 的注意力机制

    该论文通过内核视角呈现关注力的新公式，将输入流应用于内核平滑器，提出用对称内核对输入流建模的注意力机制变种，以较少的计算成本实现与最先进模型相媲美的竞争性表现，实验证明不同的内核构建策略能够应用于神经机器翻译和序列预测这两个广泛使用的任务。

    Aug, 2019

  • 使用分层随机注意力进行 Transformer 不确定性估计

    本文提出了一种新的方法，使得 transformer 模型具有不确定性估计能力，同时保持原始预测性能，并且理论和实验结果表明，该方法在包括文本分类在内的任务上具有最佳的预测性能和不确定性平衡

    Dec, 2021

  • Transformer 模型健壮性验证

    本文提出了一种适用于 Transformer 的鲁棒性验证算法，证明了其结果远优于 Interval Bound Propagation 算法，帮助理解了情感分析中不同单词的重要性。

    Feb, 2020

  • 注意力作为稳健的时间序列预测表示

    我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

    Feb, 2024

  • 卷积神经网络是否可以比 Transformer 更强大？

    本文通过仔细研究 Transformers 的设计，发现在提高稳健性方面，使用卷积神经网络（CNNs）设计的架构同样有效。具体来说，我们的发现分别是：a）分块输入图像，b）增大卷积核尺寸，以及 c）减少激活层和归一化层的设计。我们的实验结果表明这三种设计的结合可以构建出实现简单，无需 attention-like 操作的卷积神经网络架构，其稳健性与甚至优于 Transformers。

    Jun, 2022

  • 通过核主成分分析揭示自注意力的隐藏结构

    我们通过核主成分分析推导了自注意力机制，表明自注意力将其查询向量投影到特征空间中其关键矩阵的主成分轴上。利用我们的核主成分分析框架，我们提出了一种鲁棒的自注意力机制 RPC-Attention，该机制对数据污染具有弹性，并在 ImageNet-1K 目标分类、WikiText-103 语言建模和 ADE20K 图像分割任务中通过实验证明了 RPC-Attention 相对于 softmax attention 的优势。

    Jun, 2024

  • 理解和改善知识蒸馏，针对大型 Transformer 编码器的量化感知训练

    本文提出了两种知识蒸馏方法，即注意力映射和注意力输出损失，并探索了两者的统一，以解决注意力重构的不足。实验结果表明，这两种知识蒸馏方法可以在使用小于 2 位的量化权重时，获得具有先进性的精度。

    Nov, 2022

  • 通过关注矩阵的拓扑分析评估变压器预测的不确定性

    基于 Attentiion 机制的拓扑数据分析方法用于预测深度学习模型的置信度，与传统方法相比，该方法在质量上超越现有方法，开辟了新的应用领域，但需要选择拓扑特征。

    Aug, 2023

  • 鲁棒核密度估计

    提出一种非参数密度估计算法，通过将传统的核密度估计器（KDE）与经典 $M$-estimation 的思想相结合，以及利用核化迭代加权最小二乘（IRWLS）算法对样本均值进行鲁棒性估计从而获得鲁棒 Kernel 密度估计器 (RKDE)，并给出了它的相关理论性质和试验结果。

    Jul, 2011