介绍了一种对置换对称的神经网络层，类比于卷积层，可以预测 2D 中密集互动粒子的运动，同时可以适应不同数量的对象。

Dec, 2016

本文提出了一种基于深度学习的任务（visual permutation learning），通过使用 Sinkhorn 迭代生成本质上是连续的双随机矩阵的方法，建立了一个名为 DeepPermNet 的端到端卷积神经网络模型，成功地应用于两个具有挑战性的计算机视觉问题，并在相关数据集上实现了最优化的性能，在深度学习和排列学习领域有着广泛的应用价值。

Apr, 2017

神经网络通常表现出置换对称性，这会导致网络损失地形的非凸性，因为线性插值两个置换的网络版本通常会遇到较高的损失障碍。最近的研究认为，置换对称性是非凸性的唯一来源，这意味着如果适当进行置换，训练网络之间基本上没有这样的障碍。在这项工作中，我们将这些论点进一步细化为三个不同的、逐渐加强的主张。我们证明现有的证据仅支持 “弱线性连接性”，即对于属于一组 SGD 解的每对网络，存在（多个）置换将其与其他网络进行线性连接。相反，“强线性连接性” 这一主张，即对于每个网络，至少存在一个置换能够与其他网络同时连接，在直观上和实际上都更加理想。这种更强的主张将意味着在考虑置换后，损失地形是凸的，并且能够在三个或多个独立训练的模型之间进行线性插值而不增加损失。在这项工作中，我们引入了一个中间主张，即对于某些网络序列，存在一个置换可以同时对齐这些序列中的匹配网络对。具体来说，我们发现一个单一的置换可以对齐逐步训练的网络序列和逐步稀疏化的网络序列，这意味着两个网络在其优化和稀疏化轨迹的每个步骤中都展示了低损失障碍。最后，我们提供了首次证据，即在某些条件下强线性连接可能是可能的，通过展示障碍在三个网络之间插值时随着网络宽度的增加而减少。

Apr, 2024

该研究利用深度神经网络计算的几何方法，探讨网络层之间的置换对全局极小化及鞍点问题的影响及其数学意义。

Jul, 2019

该研究提出使用单个对抗性扰动来重新编程目标模板，以执行攻击者选择的任务，即使模型没有为此任务进行训练，成功演示了多个模型的此类攻击。

Jun, 2018

本研究提出一种基于 Satisfiability Modulo Theory (SMT) 的新型自动化验证框架，旨在保证深度神经网络对于图像操作的安全性，能够发现对于给定操作范围和家族，对抗性样本是否存在，同时比较现有的相关技术。

Oct, 2016

本文提出了一种方法，通过使深度神经网络对权重变化非常敏感，创建一个等效的神经网络模型，从而防止模型盗窃，这个等效模型具有与原来模型相同的响应和分类准确性。

Jul, 2019

本文提出了一种神经网络 “洗涤” 算法，可以即使在对水印结构没有先前知识的情况下，从神经网络中移除黑盒后门水印，有效消除了现有防御和版权保护机制使用的水印，并证明现有的后门水印不足以达到其声称的要求。

Apr, 2020

本研究考虑了如何证明深度神经网络对真实世界的分布转化具有鲁棒性，提出了一种基于神经符号学的验证框架，并采用生成模型学习数据扰动，解决了现有验证方法对于许多最先进生成模型的 sigmoid 激活函数的处理问题，实验结果表明，该框架在 MNIST 和 CIFAR-10 数据集上能够显著优于现有方法，可以有效应对各种严峻的分布转化挑战。

Jun, 2022

通过在训练时进行神经元对齐，以及使用剪枝和部分梯度掩码算法，研究了深度学习中解决线性模式连接层面上的障碍的方法，这在模型融合算法中具有重要的应用。

Feb, 2024