ICLRJul, 2018

通过进化树网络学习回归的简明表示

PDF
TL;DR研究一种学习针对回归问题的可解释表示的方法，将特征表示为由神经网络中常用的激活函数和其他基本函数组成的多类型表达树的网络。通过梯度下降来训练可微分特征，并利用特征在线性模型中的性能来加权每个表示子组件的变化率。该方法可以产生比梯度提升更小、在 100 个开源回归问题上的平均测试得分更高的表示。
发现论文，激发创造
  • 梯度作为深度表示学习中的特征

    本文提出基于梯度的特征及使用线性模型将梯度与预训练网络的激活函数相结合用于深度表示学习，从而实现预训练网络对不同任务的高效适应，通过实验验证了该算法在不同网络结构下，在多个数据集的各种表征学习任务上获得了强大的结果并与理论分析相符。

    Apr, 2020

  • 回归树懂微积分

    用于预测分析的回归树通过估计梯度提高了模型的能力，并解决了不确定性量化的任务，同时提供了模型行为的解释。

    May, 2024

  • 多层梯度提升决策树

    提出了一种名为 mGBDTs 的多层 GBDT 森林算法，通过堆叠多层回归 GBDTs 作为其构建块，探索学习分层表示能力。该模型可以通过变体的跨层目标传播进行联合训练，无需反向传播或可微分性，并在性能和表示学习能力方面得到了证实。

    May, 2018

  • 基于可操作特征调整的树形集成模型可解释预测

    本文提供一种利用基于树的集成分类器内部的技术来将真负实例转化为正例的推荐算法，通过在线广告应用程序证明了方法的有效性。

    Jun, 2017

  • 极限分类和密度估计的树和表示同时学习

    我们提出了一种新颖的算法，可以同时进行输入数据的表示学习和层次预测器的学习，该算法通过优化多向节点划分的平衡和易分离性来实现目标函数，从而实现分类误差的上界和提高准确性，并将算法的变体应用于文本分类和语言建模中。

    Oct, 2016

  • 通过特征空间分割窥视深度神经网络

    本文提出了一种通过构建树形结构，实现对复杂模型进行分级分区并揭示其迭代拒绝可能的类标签的过程，以达到在不影响模型准确性的前提下实现模型解释性的方法。

    Nov, 2016

  • 学习到的特征表示受到复杂性、学习顺序、位置等的偏差影响

    在这项工作中，我们探讨了表示学习和解释所学的表示在机器学习和神经科学中的关键领域，并发现了表示与计算之间一些令人惊讶的脱节现象，这可能对相关工作构成挑战。我们通过创建数据集来匹配不同特征的计算角色，并操纵特征或数据的其他属性。我们训练各种深度学习架构以计算这些关于输入的多个抽象特征，并发现他们学到的特征表示在表示一些特征时存在系统性的偏倚，这些偏倚依赖于特征的复杂性、特征学习的顺序和特征在输入中的分布。同时我们还探索了这些偏差对体系结构、优化器和训练方案的影响。这些结果有助于描述基于梯度的表示学习的归纳偏差，同时突出了理解性或对比模型和大脑之间表示的关键挑战，即区分系统内部表示的外部偏差和计算上重要的方面。

    May, 2024

  • 非参数线性特征学习与回归正则化

    利用非参数预测的线性特征学习方法 RegFeaL，同时估计预测函数和线性子空间，经过实验证实其在不同实验中的表现。

    Jul, 2023

  • 动态树：用于学习和设计的树形结构

    动态回归树是一种自动回归和分类的有吸引力的选择，可用于在线应用程序设置中具有复杂响应曲面的情况。本文提出了一种序列树模型及其粒子学习算法，这种算法允许对树状态进行高效的在线后验过滤。除此之外，本文还探讨了常数和线性均值函数以及分类问题的多项式叶子等问题，并提出了默认的先验规范。本文还详细说明了每个应用程序的具体方法。最后，实验证明，我们的方法在成本的一小部分下能够提供比常用方法更好的结果。

    Dec, 2009

  • 回归任务中树状神经网络的行为分析

    本文通过解析抽象语法树（AST）推测了基于树状神经网络模型的行为，并提出了一种双重变换器方法，通过源代码标记和 AST 表示进行交叉注意力机制的操作，进一步探索了图神经网络（GNN）对于基于树状问题的适应性，实证评估发现，我们的双重变换器模型在各种数据集上表现出色，优于其他基于树状神经网络和基于 GNN 的模型。

    Jun, 2024