神经网络通常表现出置换对称性，这会导致网络损失地形的非凸性，因为线性插值两个置换的网络版本通常会遇到较高的损失障碍。最近的研究认为，置换对称性是非凸性的唯一来源，这意味着如果适当进行置换，训练网络之间基本上没有这样的障碍。在这项工作中，我们将这些论点进一步细化为三个不同的、逐渐加强的主张。我们证明现有的证据仅支持 “弱线性连接性”，即对于属于一组 SGD 解的每对网络，存在（多个）置换将其与其他网络进行线性连接。相反，“强线性连接性” 这一主张，即对于每个网络，至少存在一个置换能够与其他网络同时连接，在直观上和实际上都更加理想。这种更强的主张将意味着在考虑置换后，损失地形是凸的，并且能够在三个或多个独立训练的模型之间进行线性插值而不增加损失。在这项工作中，我们引入了一个中间主张，即对于某些网络序列，存在一个置换可以同时对齐这些序列中的匹配网络对。具体来说，我们发现一个单一的置换可以对齐逐步训练的网络序列和逐步稀疏化的网络序列，这意味着两个网络在其优化和稀疏化轨迹的每个步骤中都展示了低损失障碍。最后，我们提供了首次证据，即在某些条件下强线性连接可能是可能的，通过展示障碍在三个网络之间插值时随着网络宽度的增加而减少。

Apr, 2024

本文研究神经网络的排列不变性，提出 SGD 解决方案在其线性插值中没有障碍的假设，并通过实验证明该假设，同时提供初步理论结果来支持我们的假设。该假设将对彩票假设、分布式训练和集成方法产生影响。

Oct, 2021

本文提出了可证明修复问题，即在发现不安全行为后修复神经网络 (DNN) 的问题，并介绍了可用于有限点和凸多面体等安全规范的 Provable Point 和 Provable Polytope 修复算法，以及 Decoupled DNN 结构，它允许将可证明修复减少至线性规划问题。实验结果证明了我们的算法在各种具有挑战性的任务中的有效性和效率。

Apr, 2021

本文提出了一种基于 V-polytope 的可证明修复方法，该方法可以在不修改架构的情况下修改深度神经网络（DNN）的参数，支持多层修复，运行时间复杂度为多项式级别。使用 MNIST，ImageNet 和 ACAS Xu DNNs 测试显示该方法比以前的 PRDNN 和 REASSURE 方法在效率、可扩展性和泛化性方面更好。

Apr, 2023

利用形式验证构建补丁模块，提供对有限数据的合适修复，该修复可以证明且具有一般化能力。

Apr, 2024

QNNRepair 是一种用于修复量化神经网络的方法，通过软件故障定位方法识别神经元并将修复问题转化为线性规划问题，以纠正 QNN 在失败测试中的表现，并在不损害其通过测试中的表现的情况下，解决神经元权重参数的问题。实验证明，与现有方法相比，QNNRepair 可在大多数情况下有效提高量化模型的性能，特别适用于 ImageNet 数据集。

Jun, 2023

提出了一种通过使用 SMT 求解器修复有关安全规范的不安全神经网络，以防止对抗攻击，并且通过修改少量的权重值来寻找新的安全神经网络表示，从而最大限度地保持决策边界相似性，同时保证只有轻微的准确度损失，证明了该方法的实用性。

Jul, 2022

通过对近似贝叶斯神经网络（BNNs）的分析，扩展了边界损失和解决方案插值的形式，并提出了一种匹配算法来寻找线性连接的解决方案。实验证明，在各种体系结构和数据集上，线性连接的解决方案几乎没有边界损失。

Oct, 2023

本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

Jan, 2022

本文提出了一种技术，能够将深度学习分类器的防御性能从较小的前馈神经网络拓展到更广泛的网络结构，同时采用非线性随机投影的方式进行训练，并通过级联模型进一步提高分类器的鲁棒性能。在 MNIST 和 CIFAR 数据集上进行实验，证明了该方法在可证明的抗干扰错误率上有着明显的提升。

May, 2018