Apr, 2023

神经关注森林：基于 Transformer 的森林改进

PDF
TL;DR本研究提出了一种新的方法 NAFA（神经注意森林），该方法将注意机制引入了随机森林，通过在决策树叶子节点的数据和随机森林本身之间分配由特定形式的神经网络计算得出的注意力权重，在 Nadaraya-Watson 核回归框架下实现了回归和分类任务。
nafneural networksattention mechanismrandom forestnadaraya-watson kernel regression
发现论文，激发创造
  • 基于注意力机制的随机森林和污染模型

    提出了一种名为 ABRF 的新方法，用于向随机森林（RF）引入注意力机制，以进行回归和分类。 核心思想是将可训练参数的注意力权重分配给树中的决策节点

    Jan, 2022

  • 基于两级注意力的随机森林与混合污染模型

    该论文提出了基于注意力的随机森林 LARF 模型，其将注意力机制分为两个级别 —— 叶子级别和树级别，并使用带有不同参数的 softmax 操作的加权和来代替注意力机制，通过解决二次优化问题来训练注意力参数和污染参数。

    Oct, 2022

  • 关系学习中的全面关注提升

    基于树模型的注意机制结合与 (tabular data) 表格数据在 (gradient boosting) 梯度提升训练环境中学习，被证明在多个领域与包含树模型和神经网络模型的现有技术相比具有竞争力。

    Feb, 2024

  • Treeformer: 高效注意力计算的密集梯度树

    本文提出了一种名为 Treeformer 的新型 transformer 模型，通过采用基于决策树的层次化导航方法，将 attention 计算的检索成本从线性降低为几乎对数级，同时使用 TF-Attention 和 TC-Attention 两种 attention 层实现了性能优于基准 Transformer 30 倍 FLOPs 的结果。

    Aug, 2022

  • 神经随机森林

    将随机回归树方法改成了一个新的神经网络模型，称为神经随机森林。 基于随机回归树的架构利用了先验知识并具有更少的参数，较少的限制设计决策路径和优秀的表现使得方法可用于多样的预测问题。

    Apr, 2016

  • Transformer 神经自回归流

    使用 Transformer 神经自回归流（T-NAFs）通过注意力掩码将每个随机变量的维度视为单独的输入令牌，取得了 UCI 基准数据集上与 NAFs 和 B-NAFs 相媲美甚至更好的实验结果，同时使用数量级较少的参数而无需合成多个流。

    Jan, 2024

  • 注意力作为稳健的时间序列预测表示

    我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

    Feb, 2024

  • 针对 Transformer 的预训练和推理的并行注意力和前馈网络设计

    本文介绍了并行注意力和前馈网络设计（PAF），以提高 Transformer 模型的效率，并评估了它在语言理解任务中的性能与速度表现，与 Series Attention 和 Feed-Forward Net Design 相比，PAF 设计可以实现 1.5 倍到 2 倍的速度提升。

    May, 2023

  • NeRF 注意力机制的端到端视图合成

    本文提出了一种基于 NeRFA 的 seq2seq 形式，用于视图合成，在四个数据集上优于 NeRF 和 NerFormer，并在单场景视角合成和类别中心的新视图合成两个方面取得了最新技术成果。

    Jul, 2022

  • 邻域注意力变换器

    该研究提出了邻域注意力机制（Neighborhood Attention），改进了窗口自注意力机制（Window Self Attention），提高了视觉任务的性能，特别是图像分类方面。

    Apr, 2022