Feb, 2023

通过控制变量实现高效关注

PDF
TL;DR通过控制变量的方法，我们将随机特征关注（RFA）分解成多个控制变量估计器的和，从而揭示了 RFA 和标准 softmax attention 之间的逼近差距。我们开发了一种更灵活的控制变量形式，得到了一种新颖的注意机制，该机制在保持线性复杂度的同时，显著降低了逼近差距，对于视觉和语言任务都比最新的高效注意机制表现更好。
random-feature-based attentionlinear complexitycontrol variatesefficient attention mechanismslanguage tasks
发现论文，激发创造
  • 随机特征注意力

    提出了一种名为 RFA 的注意力机制，它能够有效地处理长序列，同时在语言模型和机器翻译任务方面表现出与常规 transformer 模型相似或更好的性能，并且在机器翻译实验中，RFA 的解码速度是普通 transformer 的两倍。

    Mar, 2021

  • 线性复杂度随机自注意力机制

    本文提出了一种基于自归一化重要性采样器的线性随机化注意力机制，结合了随机特征关注性的表达性和计算效率，能够以线性时间和空间复杂度近似整个 softmax 注意力，与随机特征关注性相比，具有很大的性能优势。

    Apr, 2022

  • RFAConv：创新的空间注意力和标准卷积操作

    提出了一种新的注意力机制 —— 接收场注意，该机制不仅专注于感受野的空间特征，而且为大尺寸卷积核提供了有效的注意力权重，实现了用接收场空间特征替换空间特征的新方法，提高了网络的性能。

    Apr, 2023

  • 降低方差强化学习的控制规范化

    介绍了一种基于功能正则化方法的强化学习中的高性能方案，可以相对于一个策略先验进行行为的规则化，进而获得偏差 - 方差的平衡来降低高方差的挑战，并通过自适应调整策略先验，保证稳定性和更高的学习效率

    May, 2019

  • 控制变量的多保真度强化学习

    研究了基于多种保真度数据的强化学习问题，并提出了一种基于控制变量的多能级估计器以及基于多功能 Monte Carlo RL 方法来提高代理人在高保真度环境中的学习性能。

    Jun, 2022

  • NeRF 注意力机制的端到端视图合成

    本文提出了一种基于 NeRFA 的 seq2seq 形式，用于视图合成，在四个数据集上优于 NeRF 和 NerFormer，并在单场景视角合成和类别中心的新视图合成两个方面取得了最新技术成果。

    Jul, 2022

  • Monte Carlo 积分的控制函数

    本研究提出了一种基于梯度信息的采样密度的非参数控制变量扩展方法，能够取得显著的方差降低效果，不要求采样密度归一化，相对于传统控制变量法能够更快速地达到固定精度，能够应用于层次模型和基于非线性常微分方程的模型中。

    Oct, 2014

  • 神经控制变量用于方差降低

    本文提出了一种基于神经网络学习的控制变量方法，该方法在数值计算中应用广泛，可显著减少蒙特卡罗估计的方差，其中包括热力学积分和强化学习。

    Jun, 2018

  • 使用大量控制变量的集成进行变分推断

    本文介绍了使用控制变量的方法来减少渐变方差的影响，提出了一种贝叶斯风险最小化框架来定量评估这一方法的效果，并表明使用大量控制变量结合的方法显著提高了推理的收敛性。

    Oct, 2018

  • ControlVAR：探索可控的视觉自回归建模

    控制可视生成的一个新框架 ControlVAR，通过像素级控制在视觉自回归建模中实现灵活高效的条件生成

    Jun, 2024