Nov, 2018

Fenchel 提升网络：神经网络训练的 Lagrange 松弛

PDF
TL;DR本文介绍了一种新的 Fenchel lifted networks 的模型，通过等价的双凸约束表示激活函数，并使用拉格朗日乘数对传统神经网络训练问题得出严格下界，使用块坐标下降进行高效训练，并与标准全连接和卷积网络进行比较，证明我们能够匹配或超越其性能.
deep neural networksfenchel lifted networkstraining problemoptimizationactivation functions
发现论文，激发创造
  • 抬升神经网络

    本文提出一种新型的神经网络构架，利用基于惩罚项的训练问题来编码激活函数，这种框架可以被应用于 block-coordinate descent 算法中，该算法可以在每次迭代中通过并行化数据点和 / 或层数来解决简单（没有隐藏层）的监督学习问题，实验结果表明该方法为标准神经网络提供了极佳的初始权重估计，并且对于使用参数优化激活函数、对抗噪声数据的拓展也提供了思路。

    May, 2018

  • 利用凸神经网络打破维度诅咒

    研究神经网络单隐层的一般化性能，使用非欧几里得正则化工具，证明了它们适应未知的线性结构，而使用稀疏感应规范则可以实现高维非线性变量选择，提供了简单的几何解释，并提供了一些凸松弛的简单条件来实现相同的一般化误差界限，留下存在或不存在多项式时间算法的问题。

    Dec, 2014

  • 升级关系神经网络

    本文提出了一种结合关系逻辑表示和神经网络学习的方法，通过关系规则和反映给定训练或测试关系实例结构的深层神经网络的组合实现层次关系建模，从而实现对潜在关系概念的学习，该方法在 78 个关系学习基准测试中表现良好。

    Aug, 2015

  • 通过升维实现结构化卷积模型的无损压缩

    本研究提出一种通过检测对称性和压缩神经模型的简单有效技术，来加速各种图形神经网络的计算，如分子分类和知识库完 意。

    Jul, 2020

  • 通过传播激活差异学习重要特征

    DeepLIFT 是一种通过反向传播将神经网络对特定输入的输出预测分解为网络中所有神经元对每个输入特征的贡献的方法，可用于提高网络解释性并有助于揭示其他方法中可能被忽略的依赖关系。

    Apr, 2017

  • 通过神经网络实现公平性的 FNNC

    提出了一种基于神经网络的框架，使用拉格朗日乘数将公平性约束条件引入到损失函数中，以实现分类中的公平性，同时保持高精度。

    Nov, 2018

  • Lipschitz 有界平衡网络

    本研究提出了新的平衡神经网络参数化方法，该方法可以实现在训练期间的 Lipschitz bound 并提升强健性，并通过建立与凸优化、非欧几里得空间上的算子分裂和收缩神经微分方程的新连接来证明这些结果，在图像分类实验中表现出非常高的准确性和抵御对抗性攻击的能力。

    Oct, 2020

  • 全局凸优化：通过神经半定程序提升多项式激活神经网络的神经谱聚合

    本文提出了基于半定规划的二层神经网络的精确凸优化公式，可在多种神经网络体系结构中实现全局最优解，相比标准反向传播方法速度更快且准确性更高。

    Jan, 2021

  • 多元神经网络学习真实目标函数

    通过对具有 ReLU 激活函数的一层神经网络的分析，我们发现神经网络具有良好的优化特性，其具有多样的单元没有虚假局部最小值，在满足 “扩展特征矩阵” 的最小奇异值足够大的条件下，可以使损失函数变得任意小。

    Nov, 2016

  • 抬升的邻域算子机器

    提出了一种新的神经网络优化方法，将激活函数转换为等效的邻近算子，通过将邻近算子添加到目标函数作为惩罚项来近似前馈神经网络，称为 LPOM。

    Nov, 2018