深度自编码器权重扰动在表格数据压缩和分类中的应用

May, 2022

深度自编码器权重扰动在表格数据压缩和分类中的应用

Perturbation of Deep Autoencoder Weights for Model Compression and Classification of Tabular Data

Manar Samad, Sakib Abrar

TL;DR本文提出了周期性扰动深度神经网络权重的方法，尤其是在深度自动编码器的自监督预训练阶段。该方法在表格数据分类任务中比 dropout 方法表现更好，并可用于压缩深度预训练模型。此外，本文揭示了深度模型在表格数据集中的成功归因于真实世界数据集中必然存在的相关变量。

Abstract

Fully connected deep neural networks (DNN) often include redundant weights leading to overfitting and high memory requirements. Additionally, the performance of DNN is often challenged by traditional machine learning models in →

deep neural networks weight perturbation tabular data classification dropout learning pretraining stage

发现论文，激发创造

数据增强代替显式正则化

通过研究比较权值衰减、随机失活和数据增强等正则化技术在深度学习中的作用，提出了数据增强对于提高深度学习泛化性能的显著贡献。因此，建议不要使用权值衰减和随机失活，而要更加关注数据增强和其他归纳偏差来优化神经网络。

Jun, 2018

基于正则化的深度神经网络结构中不相关参数修剪

本研究提出了一种基于正则化技术实现学习稀疏神经拓扑结构的方法，包括对非相关权重标定、压缩优化以及迭代式意义下的参数消除。在图像分类与自然语言生成任务中进行测试，并通过数据指标达到与或优于竞争对手等表现。

Apr, 2022

使用目标化 dropout 学习稀疏网络

使用有针对性的 dropout 进行神经网络的训练，可以使网络更容易剪枝并且保持稀疏性。

May, 2019

深度网络真的需要权重衰减和丢弃吗？

通过实验研究发现，即使不采取常见的正则化技术，通过引入足够的数据扩增，可以实现深度神经网络在目标识别上的高准确性

Feb, 2018

面向多元时间序列异常检测的高效深度自编码器

通过剪枝、量化和深度自编码器压缩方法，本文提出了一种能够在有限时间和内存约束下实现模型大小减小的方法，以便在高度受限的硬件环境中更快速和容易采用的压缩模型，并在多变量异常检测中实现显著的模型压缩比（80% 至 95%）而不显著降低异常检测性能。

Mar, 2024

在修剪的权值预算上进行完整深度神经网络训练

本研究提出了一种 DNN 训练技术，该技术可以在不影响准确率的情况下，只学习了部分全参数集。此方法使用反向传播约束更新权重的总数，以仅跟踪具有最高总梯度的权重。通过确保总权重扩散保持接近于基线未修剪 SGD 的扩散，使用我们技术进行修剪的网络能够在网络架构中保留领先的状态，包括先前被认为难以压缩的网络。我们在 ImageNet 上使用 ResNet18 观察到了 11.7 倍的权重减少无准确性损失，最多可达 24.4 倍，但具有小的准确性影响。

Jun, 2018

语义分割和分类的自我纠正扰动

本篇论文探究了卷积神经网络中的一种新行为：通过结构化扰动输入，预训练的 CNN 可以改善其预测性能，这种扰动被称为 Guided Perturbations。实验结果表明，这种方法可以提高现有方法在语义分割和场景标注任务上的性能，并且可以应用于 MNIST 和 CIFAR10 等数据集上的分类任务。

Mar, 2017

通过建模和预测标签结构来规范深度网络

该研究构建了自定义正则化函数用于深度神经网络的监督训练，利用自动编码器得到正则化器，实现分段模型标签的训练，并在语义分割中展示了正则化策略对提高准确率的实验结果。

Apr, 2018

优化良好的简单神经网络在表格数据集上表现优异

本论文研究在神经网络中，如何利用 13 种正则化技术来优化多层感知机（MLP）在 40 个表格数据集上的性能，并证明了良好正则化的 MLP 可以明显优于最新的神经网络架构和传统机器学习方法。

Jun, 2021

使用 Dropout 正则化从嘈杂标签中学习深度网络

该篇论文提出了一种纠正深度神经网络中标签不准确的技术：通过增加一个噪声模型的 softmax 层，采用端到端的随机梯度下降来优化网络以及噪声模型，借助 dropout 正则化防止噪声模型过于简单。在 CIFAR-10 和 MNIST 数据集上的数值实验显示，该 dropout 技术优于最先进的方法。

May, 2017