MMFeb, 2024

自注意力通过核 - 特征值对稀疏变分高斯过程

PDF
TL;DR通过使用 Kernel-Eigen Pair Sparse Variational Gaussian Processes (KEP-SVGP)，解决了注意力核的非对称性问题，并获得了降低时间复杂度的方法，验证了其在多个基准测试中的出色性能和有效性。
transformersprediction accuracygaussian processesuncertainty estimationkep-svgp
发现论文，激发创造
  • 原始 - 注意力：通过原始表示中的非对称核 SVD 进行自注意力

    本文提供了一种新的角度，通过非对称的核奇异值分解 (KSVD) 来表示和优化自注意力，使得低秩特性在没有额外分解的情况下得到提升。

    May, 2023

  • 稀疏高斯过程变分自编码器

    研究了高斯过程深度生成模型中的氐变量的稀疏高斯过程近似的问题，并提出了一种基于部分推理网络的稀疏高斯过程变分自编码器，从而使得稀疏高斯过程能处理多维度的时空数据中缺失的数据，并提高模型的计算效率。

    Oct, 2020

  • 通过稀疏高斯过程校准 Transformers

    使用稀疏高斯过程关注机制的变压器模型在多个预测任务上实现了具有竞争力的预测准确性，并提高了内部标定和区外鲁棒性检测。

    Mar, 2023

  • 基于可伸缩变分贝叶斯的稀疏高斯过程回归内核选择

    该论文提出了一种基于变分贝叶斯核选择算法的稀疏高斯过程回归模型，通过将核表示成一个随机变量，并利用其先验和后验信念来学习其不确定性，进而避免避免过度自信，通过随机梯度上升的方法来迭代地最大化变分下界以提高精度，该方法适用于大规模数据集。

    Dec, 2019

  • 一般似然函数的稀疏后验高斯过程

    提出一种基于稀疏高斯过程的框架，使用期望传播直接逼近一般高斯过程的似然函数，既包括了 SPGP 和 VSGP 用于回归的特殊情况，又兼顾了在线处理数据的能力，可用于解决分类问题。在基准数据集上的实验表明，该框架在小样本规模下，不仅能够最大程度地逼近非稀疏 GP 解，而且可降低分类错误率。

    Mar, 2012

  • 稀疏变分受污染噪声高斯过程回归预测地磁扰动

    本文提出了一种使用受污染正态似然函数扩展高斯过程框架的方法，以更好地考虑异方差性和异常噪声。我们还提出了一种基于稀疏变分高斯过程方法的可扩展推理算法，用于在大型数据集上拟合具有受污染正态噪声的稀疏高斯过程回归模型。我们在地磁地面扰动应用中进行了实证研究，该应用基于神经网络的最先进预测模型，结果表明与人工密集神经网络基线相比，我们的方法在保持相似的覆盖率和准确性的情况下获得了较短的预测区间。

    Feb, 2024

  • 一种用于稀疏谱高斯过程回归的广义随机变分贝叶斯超参数学习框架

    本文针对大数据的稀疏高斯过程模型的一类不同于现有方法的低秩 GP 逼近模型展开研究，提出了基于稀疏频谱 GP 模型的随机变分贝叶斯框架，该框架结合贝叶斯方法处理频率谱避免过拟合，利用本地数据提高预测性能，并利用参数化技巧使得所得到的随机梯度具有线性结构，从而提高了稀疏 GP 模型的性能。实验结果表明，我们的模型优于现有的 SGP 模型的实现方法。

    Nov, 2016

  • 通过核主成分分析揭示自注意力的隐藏结构

    我们通过核主成分分析推导了自注意力机制，表明自注意力将其查询向量投影到特征空间中其关键矩阵的主成分轴上。利用我们的核主成分分析框架，我们提出了一种鲁棒的自注意力机制 RPC-Attention，该机制对数据污染具有弹性，并在 ImageNet-1K 目标分类、WikiText-103 语言建模和 ADE20K 图像分割任务中通过实验证明了 RPC-Attention 相对于 softmax attention 的优势。

    Jun, 2024

  • 带收缩先验的组合稀疏高斯过程学习

    本文提出了一种有效的方法：使用 Horseshoe 先验处理核函数的稀疏性来学习核组合，提供更好的匹配度和更短的计算时间。

    Dec, 2020

  • Nyström 方法与稀疏变分高斯过程之间的联系和等价性

    研究稀疏逼近方法在进行核方法和高斯过程（GPs）的大规模数据方面的连接，着重于 Nyström 方法和 Sparse Variational Gaussian Processes （SVGP）。在回归问题的上下文中，提供一种 RKHS 解释 SVGP 逼近，并且展示了其 Evidence Lower Bound 包含了 Nyström 逼近的目标函数，揭示了两种方法之间的代数等价性的来源。此外，研究了 SVGP 的最近建立的收敛结果以及它们与 Nyström 方法的逼近质量之间的关系。

    Jun, 2021