Nov, 2023

权值共享正则化

PDF
TL;DR通过引入 'weight-sharing regularization' 为神经网络定义了目标函数，并研究了其近端映射，同时介绍了解释为相互作用粒子的物理系统观点。基于该观点，设计了一种新的并行算法用于近端映射，相较于之前的算法具有指数级加速度，深度为 O (log^3 d)。通过该算法，可以使用近端梯度下降训练采用 weight-sharing regularization 的深度神经网络。实验表明，weight-sharing regularization 能够使全连接网络学习类似卷积操作的滤波器。
weight-sharing regularizationneural networksproximal mappingparallel algorithmdeep neural networks
发现论文，激发创造
  • 地标正则化：在神经架构搜索中使用排名引导超级网络训练

    本研究提出一种正则化项，通过一小组标志性架构来最大化共享权重网络和独立体系结构性能排名之间的相关性，在三种不同的 NAS 算法中应用并证明其能够提高算法的性能。

    Apr, 2021

  • 共享权重对于成功的优化至关重要

    本文研究卷积神经网络体系结构中共享权重对优化的重要性，探索不同目标函数频率的不同概念，并证明其必要性。研究结果表明，使用共享权重的体系结构与其他不使用共享权重的体系结构在优化方面存在理论差异。

    Jun, 2017

  • 正则化压缩神经网络的学习

    研究了深度神经网络的正则梯度下降算法，并通过量化约束集合的复杂度以及研究覆盖维度来探索正则化技术在加速训练、提高泛化性能以及学习更高效紧凑模型方面的优势。

    Feb, 2018

  • 减小加权排序 L1 正则化

    本文研究了一种新的正则化器，称为加权排序 l1 范数 (WSL1)，它概括了最近引入的用于回归问题的八边形收缩和聚类算法 (OSCAR)，并包含 l1 和 l∞范数作为特例。本文关注 WSL1 的一种特殊情况，即下降 WSL1 (DWSL1)，在该情况下，参数向量的元素按非增序列排序，权重也是非增的。在本文中，我们不仅展示了 DWSL1 是一个范数，还导出了其作为正则化器使用的两个关键工具：对偶范数和 Moreau 邻近算子。

    Apr, 2014

  • 通过权重尺度不变正则化提高神经网络的泛化性能和鲁棒性

    该研究论文介绍了一种改进神经网络正则化器的方法，该正则化器不仅能对权重衰减，还能考虑权重尺度偏移对正则化的影响，有效地限制神经网络的内在范数，并优化了对抗强度以提高泛化性能。

    Aug, 2020

  • 通过凸对偶揭示深度神经网络的结构

    本文研究正则化深度神经网络及其隐层结构，通过凸分析框架构建问题的最优隐层权重，证明 For 深度 ReLU 网络，权重矩阵与之前的层通过对偶对齐，并给出了数据为基态或白话时的权重的解析解。同时，该研究也可以甚至适用于具有批归一化架构的深度神经网络，并给出了 “神经坍塌” 现象的完整解释。

    Feb, 2020

  • 平衡和确定性权值共享促进网络性能

    使用权重共享（weight-sharing）的方法研究了神经网络（neural network）中的不同哈希函数以及它们对神经网络性能的影响。

    Dec, 2023

  • 从复杂到清晰：通过 Clifford 的几何代数和凸性分析深度神经网络权重的解析表达

    基于几何 (克利福德) 代数和凸优化，我们介绍了一种新的神经网络分析方法，显示出深度 ReLU 神经网络的最优权重是通过训练样本的外积给出的，并且训练问题可以化简为对外积特征进行凸优化，这些特征编码了训练数据集的几何结构，其中几何结构通过数据向量生成的三角形和平行六面体的符号体积给出。

    Sep, 2023

  • Weight Compander：一种用于正则化的简单权值重新参数化方法

    介绍了一种名为权重压缩器的新方法，用于重新参数化深度神经网络的每个权重，从而提高其泛化能力；该方法通过限制权重大小来隐式减少过拟合，同时强制权重远离零，以促进更多特征的提取并增加权重冗余，从而使网络对测试数据的统计差异不那么敏感。

    Jun, 2023

  • 镜面下降遇见固定分配 (无悔感)

    研究使用镜像下降和熵正则化的方法在维度上实现对于一系列的一般化后的后悔情况的误差上界，其中包括了位移、自适应、折扣等等，并且得到了和权值分享方法的等价结果。研究同时提出了对于小的误差和参数的自适应调整等的改进。

    Feb, 2012