神经重建背后的凸正则化

Dec, 2020

Convex Regularization Behind Neural Reconstruction

Arda Sahiner, Morteza Mardani, Batu Ozturkler, Mert Pilanci, John Pauly

TL;DR本文提出了一种凸二元框架用于优化神经网络，从而解决了其在敏感应用如医学成像中的非凸和不透明性质的问题。该凸对偶网络不仅能够通过凸优化器获得最优训练，还有利于训练和预测的解释，特别是通过权重衰减正则化训练神经网络，诱导路径稀疏性的同时，预测是分段线性滤波。实验结果表明，该凸对偶网络优化问题在 MNIST 和 fastMRI 数据集上有效。

Abstract

neural networks have shown tremendous potential for reconstructing high-resolution images in inverse problems. The non-convex and opaque nature of neural networks, however, hinders their utility in sensitive appl

neural networks reconstruction convex optimization medical imaging path sparsity

发现论文，激发创造

通过凸对偶揭示深度神经网络的结构

本文研究正则化深度神经网络及其隐层结构，通过凸分析框架构建问题的最优隐层权重，证明 For 深度 ReLU 网络，权重矩阵与之前的层通过对偶对齐，并给出了数据为基态或白话时的权重的解析解。同时，该研究也可以甚至适用于具有批归一化架构的深度神经网络，并给出了 “神经坍塌” 现象的完整解释。

Feb, 2020

神经网络是凸正则化器：两层神经网络的精确多项式时间凸优化公式

本文中，我们利用半无限对偶及最小规范化，将使用修正线性单元的两层神经网络的训练准确表述为单一凸程序，其变量数量与训练样本数量和隐藏层神经元数量呈多项式关系，并证明使用标准权重衰减进行修正线性单元网络训练的等效于带块 $l_1$ 惩罚的凸模型。此外，我们还证明了某些标准卷积线性网络等效于半定程序，可以在多项式大小的离散傅里叶特征空间中简化为带 $l_1$ 正则化的线性模型。

Feb, 2020

通过凸优化实现两层之外深度 ReLU 网络的全局最优

本研究通过凸优化理论分析发现，ReLU 神经网络通过一种隐含的正则化机制实现高维特征选择，并证明了该等价凸问题可以通过标准凸优化求解器在多项式时间内全局优化。

Oct, 2021

逆问题中的对抗正则化器

该论文提出了一种新的框架，利用神经网络作为正则化函数，将数据驱动方法应用于逆问题解决，该算法可以在没有监督训练数据的情况下应用于逆问题，并在 BSDS 数据集上显示了去噪和在 LIDC 数据集上显示了计算机断层扫描重建的潜力。

May, 2018

两层 ReLU 网络的快速凸优化：等价模型类和锥分解

本文研究了基于 ReLU 激活函数的两层神经网络的凸优化及其群 lasso 正则化和加速近端梯度算法，该方法在 MNIST 和 CIFAR-10 数据集的图像分类方面表现良好。

Feb, 2022

深度卷积神经网络用于图像反问题

使用深度卷积神经网络，结合直接反演、多分辨率分解和残差学习等技术来解决病态反问题，实验证明，在稀疏采样下，该方法能在不到一秒的时间内重建 512 x 512 的图像，取得了比迭代正则化平滑重建更好的效果。

Nov, 2016

MoDL: 逆问题的基于模型的深度学习架构

该研究提出了一种基于卷积神经网络的模型重建框架，实现了解决逆问题的途径。该框架克服了深度学习方法中过多参数所占用的训练数据和时间上的需求问题，并在重构图像方面取得了显著成果。

Dec, 2017

学习邻近算子：使用降噪网络来规则化逆成像问题

本文研究探讨通过使用去噪神经网络替代凸优化算法中的正则化程式近算，使得数据项和正则化项可以独立选择并结合。在图像去模糊和去马赛克问题中，通过使用固定的去噪神经网络，本文取得了最先进的重建效果，并且该方法具有很高的通用性和较少的问题特定训练需求。

Apr, 2017

ReLU 网络中批归一化的解析：等价的凸优化模型与隐式正则化

本文通过凸优化的视角分析 Batch Normalization，提出了一个基于凸对偶的解析框架，可以精确地描述用 Batch Normalization 训练的带有权重衰减的 ReLU 网络，并证明在高维和过参数化情况下，理论上可以获得一些简单的解析的最优层权重和可训练的凸约束优化问题，并发现梯度下降给标准的非凸 BN 网络提供了算法偏差效应，通过我们的方法可以将这种隐式正则化显性编码到凸目标中，实验结果表明该方法可以模拟和显著提高标准 BN 网络的性能。

Mar, 2021

可证收敛的数据驱动凸非凸正则化

深度学习在逆问题求解中的新兴范式通过从数据中学习正则化器实现高质量结果，但往往无法提供可证明的保证。本文通过凸非凸（CNC）框架展示了良好的可解性和收敛正则化，引入了一种新颖的输入弱凸性神经网络（IWCNN）构建方法，将学得的对抗正则化方法适应于 CNC 框架。通过实证分析表明我们的方法克服了先前对抗方法的数值问题。

Oct, 2023