通过基于拓扑的界限收紧验证消息传递神经网络
利用混合整数线性规划（MILP）模型来表示带有修正线性单元激活函数的神经网络的使用已在过去十年中越来越普遍。本研究探讨了这些边界的紧密性与求解结果 MILP 模型的计算付出之间的权衡，并提供了实施这些模型的指南，基于网络结构、正则化和四舍五入的影响。
Dec, 2023
提出了一种新的参数激活函数 GReLU，它将拓扑信息嵌入到非线性激活函数中，以使更新函数感知到邻居之间的相互关系，从而提高 Graph Neural Networks 的能力，实验结果表明 GReLU 方法有效。
Feb, 2022
本研究旨在探究深度神经网络的通用逼近性质与数据集拓扑特征之间的关系，并通过拓扑结构推导出限制网络宽度的上界。通过设计三层神经网络中的 ReLU 激活函数和最大池化操作，可以逼近一个由紧凑凸多面体包围的指示函数，同时拓展到单纯复合体，以拓扑空间的 Betti 数限制推导上界，并进一步证明了三层 ReLU 网络的通用逼近性质。
May, 2023
本文提出一种新的解决方案，通过手术人工神经元，进行神经元移植实现对 DNN 表达力和鲁棒性的权衡，通过线性化不重要的 ReLU 神经元来减少大型 DNN 中的非线性成分，最终实现在维持可证明性的前提下提高模型表现的目的。
Jun, 2022
本文提出了一种基于 Bernstein 多项式的神经网络激活函数 DeepBern-Nets，并设计了新算法 Bern-IBP，用于更有效地计算其输出的紧密界限。实验表明，基于 Bernstein 多项式的激活函数可提高神经网络的证明过程，并在对抗性训练中取得了较高的证明准确性。
May, 2023
本研究针对图形结构数据，基于随机平滑技术，开发出可证明鲁棒性的图神经网络，证明其对于节点和图分类具有结构扰动的认证鲁棒性保证，并在多个 GNN 和多个基准数据集上进行了实证评估。
Aug, 2020
利用最近在精确和可微分的 k 子集采样中的进展，我们设计了一种概率重连的消息传递图神经网络（PR-MPNNs），该网络学习在省略不太有益的边的同时添加相关边。首次，我们的理论分析探索了 PR-MPNNs 如何增强表达能力，并且我们确定了它们优于纯随机方法的精确条件。经验证实，我们的方法有效地缓解了如过度压缩和预测能力不足等问题。此外，根据现有的真实世界数据集，我们的方法在预测性能上与传统的 MPNN 模型和最近的图变压器架构相比表现出有竞争力或更好的性能。
Oct, 2023
本文提出了一种训练算法插件，可以有效地减小神经网络的局部 Lipschitz 上界，以提高神经网络的自然精度和可证明的精度之间的权衡，并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]
Nov, 2021
本研究关注图神经网络的本质问题：无法仅仅依靠局部信息计算多个重要的图形特征；同时提出了信息传递图神经网络的第一个数据相关泛化界限，这一分析专门考虑了 GNN 局部置换不变性，该边界比现有的基于 VC 维度的 GNN 保证要紧密，与循环神经网络的 Rademacher 界限相当。
Feb, 2020