Oct, 2022

基于两级注意力的随机森林与混合污染模型

PDF
TL;DR该论文提出了基于注意力的随机森林 LARF 模型，其将注意力机制分为两个级别 —— 叶子级别和树级别，并使用带有不同参数的 softmax 操作的加权和来代替注意力机制，通过解决二次优化问题来训练注意力参数和污染参数。
attention-based random forestsleaf attentiontree attentionquadratic optimizationhuber's contamination
发现论文，激发创造
  • 基于注意力机制的随机森林和污染模型

    提出了一种名为 ABRF 的新方法，用于向随机森林（RF）引入注意力机制，以进行回归和分类。 核心思想是将可训练参数的注意力权重分配给树中的决策节点

    Jan, 2022

  • 神经关注森林：基于 Transformer 的森林改进

    本研究提出了一种新的方法 NAFA（神经注意森林），该方法将注意机制引入了随机森林，通过在决策树叶子节点的数据和随机森林本身之间分配由特定形式的神经网络计算得出的注意力权重，在 Nadaraya-Watson 核回归框架下实现了回归和分类任务。

    Apr, 2023

  • LoRA-Ensemble: 自注意力网络的高效不确定性建模

    我们引入了一种基于低秩调整（LoRA）的参数高效深度集成方法，即 LoRA-Ensemble，用于自注意力网络，通过在预训练的自注意力网络中共享权重并训练成员特定的低秩矩阵，我们的方法在校准方面表现出优越性，并在各种预测任务和数据集上实现了相似或更好的准确性。

    May, 2024

  • 线性复杂度随机自注意力机制

    本文提出了一种基于自归一化重要性采样器的线性随机化注意力机制，结合了随机特征关注性的表达性和计算效率，能够以线性时间和空间复杂度近似整个 softmax 注意力，与随机特征关注性相比，具有很大的性能优势。

    Apr, 2022

  • SMYRF：使用不对称聚类的高效注意力机制

    我们提出了一种新型的平衡聚类算法 SMYRF，通过使用局部敏感哈希算法和一系列新异构变换，实现了由 O（N ^ 2）到 O（N log N）的注意力复杂度的有效减少，并在不需要重新训练的情况下拥有良好的性能表现。

    Oct, 2020

  • 对抗性随机森林用于密度估计和生成建模

    本文提出了使用无监督随机森林的新型密度估计和数据合成方法。通过交替的生成和区分，树逐渐学习到数据的结构属性。 与经典的基于树的替代方案不同，我们的方法提供平滑的（非）条件密度并允许完全合成数据生成。 在执行速度平均快大约两个数量级的同时，我们在各种表格数据基准测试上实现了与最先进的概率电路和深度学习模型可比或更好的性能。

    May, 2022

  • FARF：一种公平且适应性的随机森林分类器

    该研究提出了一种灵活的基于集成学习的算法 FARF，在演化的在线设置中实现公平决策。

    Aug, 2021

  • 随机特征注意力

    提出了一种名为 RFA 的注意力机制，它能够有效地处理长序列，同时在语言模型和机器翻译任务方面表现出与常规 transformer 模型相似或更好的性能，并且在机器翻译实验中，RFA 的解码速度是普通 transformer 的两倍。

    Mar, 2021

  • 基于树状模型的带自我激励的硬注意力机制用于大型语言模型

    通过引入树状硬性关注机制和自我激励策略，提出了一种名为 TEAROOM 的新框架，用于处理大规模语言模型中的分层文本输入，并在估计特定任务属性方面显示出优势。通过多次推断逐步逼近潜在的真实值。

    Feb, 2024

  • 基于梯度学习的运行时剪枝加速注意力机制

    通过引入一个软正则化器来优化自注意力机制的计算，新提出的 LeOPArd 位串行体系结构可以在不损害平均精度的情况下提高计算速度和降低能源消耗。

    Apr, 2022