ICLRMar, 2023

通过梯度正交化和特化来正则化表格神经网络的 TANGOS

PDF
TL;DR引入基于潜在单元的正交化和专业化的表格神经梯度正交化和专业化 (TANGOS) 方法，用于表格数据，是防止过度拟合和提供强大的泛化性能的一种新的正则化框架，它可以导致更好的样外泛化性能。
deep neural networkstabular dataregularization techniquestangosgeneralization performance
发现论文，激发创造
  • 神经网络的自适应切线特征视角

    为了更好地理解神经网络中的特征学习，我们提出了一个在切线特征空间中理解线性模型的框架，其中特征在训练过程中被允许进行转换。我们考虑特征的线性变换，得到了一个在参数和变换上具有双线性插值约束的联合优化问题。我们证明了这个优化问题等价于一个线性约束优化问题，具有结构化正则化，鼓励近似低秩解。通过专门研究神经网络结构，我们深入了解了特征和核函数如何变化，为当目标函数使用切线特征很难表示时的核对齐现象提供了额外的细微差别。除了在一个简单的回归问题上验证我们的理论观察之外，我们还通过实验证明，在 MNIST 和 CIFAR-10 上，切线特征分类的自适应特征实现的样本复杂性比固定切线特征模型低一个数量级。

    Aug, 2023

  • 优化良好的简单神经网络在表格数据集上表现优异

    本论文研究在神经网络中，如何利用 13 种正则化技术来优化多层感知机（MLP）在 40 个表格数据集上的性能，并证明了良好正则化的 MLP 可以明显优于最新的神经网络架构和传统机器学习方法。

    Jun, 2021

  • 神经梯度正则化器

    我们提出了一种神经梯度正则化器 (NGR)，将梯度图表达为神经网络的输出，避免了梯度图的低估，具有广泛的适用性和插拔式功能。

    Aug, 2023

  • 正则化学习网络：表格数据的深度学习

    提出了一种名为 Regularization Learning Networks (RLNs) 的方法，通过引入一个有效的超参数调整方案来优化 DNN 在 tabular 数据集上的性能，获得了与 GBT 相当的性能。同时，RLNs 还产生了极度稀疏的网络，消除了高达 98% 的网络边缘和 82％的输入特征，提供了更可解释的模型，并揭示了网络分配给不同输入的重要性。

    May, 2018

  • 使用正交梯度对深度多任务网络进行规范化

    本文提出了一种新的梯度正则化方法，旨在通过强制近似正交梯度来减少任务干扰，评估结果表明该方法在多任务学习中取得了竞争性结果。

    Dec, 2019

  • 通过神经切向传递发现可训练的稀疏网络

    本文介绍 “神经切向转移” 这一方法，通过在非标签环境下找到了训练动态和密集网络类似的可训练稀疏网络，通过标准的分类任务测试结果显示，这种方法能够更快地达到更高的分类性能。

    Jun, 2020

  • Tango：重新思考在 GPU 上进行图神经网络训练的量化

    Tango 是一个能在 GPU 上加速 Graph Neural Networks（GNN）训练的系统，通过引入有效的保持精度的规则和量化意识的基本操作，以及与 Deep Graph Library（DGL）系统的集成，展示了优于现有方法的性能。

    Aug, 2023

  • 非线性模型的正交化推广

    通过纠正 ReLU 激活函数等非线性因素，我们的研究提出了纠正黑盒算法偏见的新方法，有效地保护敏感数据，并在线性模型中进行正交化、在卷积神经网络中进行元数据的归一化以及在预定义的嵌入中矫正不想要的属性。

    May, 2024

  • 在 d≫n 时使用辅助知识图谱实现表格深度学习

    我们提出了 PLATO 方法，该方法通过使用描述输入特征的辅助知识图来规范多层感知器（MLP），在 d >> n 的表格数据上实现了强大的性能

    Jun, 2023

  • 基于范数正则化的结构化梯度解释方法

    通过对简单梯度方案进行稀疏性及连接性调整，采用对抗训练作为一种内部处理方案，设计并展示了基于正则化的对抗训练方法对标准神经网络架构在基准图像数据集上的梯度图产生的影响。

    Apr, 2024