- 深度神经网络的基于梯度的解释方法 —— 鲁棒性解释指南
本文介绍了解释深度神经网络的渐变解释性方法，讨论了这些方法如何评估其鲁棒性以及鲁棒性在产生有意义的解释方面的作用，并探讨了渐变方法的局限性和选择解释方法之前应该考虑的最佳实践和属性。
- ICML一种基于价值函数的内点法用于非凸双层优化
本文提出了一种新的基于值函数内点法的双层优化模型求解方法 BVFIM，通过对正则化值函数进行惩罚，进而获得一个连续可微的无约束逼近问题序列，解决了复杂的学习问题，数值实验验证了该方法的高效性和信噪比。
- Few-Shot 学习仍需要嵌入自适应
提出 ATG 聚类方法，定义训练和测试任务集，使其共享预定义量的信息以分析和理解 few-shot 分类方法，并在生成的任务集中展示其有效性和相对于基准任务集的优越性。最后，揭示在迁移最具挑战性时，基于梯度的方法可以超越基于度量的方法。
- ICLRPlasticineLab：一项带有可微物理特性的软体操纵基准测试
介绍了可微分物理实验基准 PasticineLab，它包括一系列软体操纵任务，并评估了针对该基准的强化学习和梯度优化方法。实验结果表明，基于 RL 的方法难以高效解决大多数任务，而基于梯度的方法可以在几十次迭代内快速找到解决方案，但在需要长 - 非凸强凹极小 - 极大优化的复杂性
本文研究非凸强凹（NC-SC）平滑极小值问题的近似稳定点的复杂度，在一般和平均平滑有限和设置中建立了非平凡的较低复杂度下界。我们提出了一种通用的加速方案，使用现有的基于梯度的方法来解决一系列的精心制作的强凸 - 强凹子问题，进而缩小了复杂度 - 通过指导因式分解来可视化监督学习和自监督神经网络
本文提出了一种结合梯度和属性方法的算法来提供逐类的可解释性，该算法在纠正显著特征的同时，通过反向投影来提供每像素的局部影响，并成功地证明了在各种基准测试上的优越性能，包括用于梯度方法评估的基准测试以及主要用于评估属性方法的基准测试，此外，本 - ICLR卷积网络为什么比全连接网络更高效？
对一种自然分布的任务进行的研究表明，对于标准训练算法，任何正交不变算法（即用大多数梯度下降法从高斯初始化中训练的全连接网络）需要 Ω（d²）个样本才能推广，而卷积神经网络只需要 O（1）个样本就足够了。
- Captum: 一个统一通用的 PyTorch 模型可解释性库
本文介绍了一种新颖的基于 PyTorch 的模型可解释性库，支持多模型、易扩展性和易用性，包含多种梯度和扰动算法，具备模型评估指标和交互式可视化工具 Captum Insights。
- 利用梯度扩展符号方法用于神经模型解释
本文提出结合梯度下降和符号技术的方法来解决神经网络中最相关的最小区域的问题，并使用基于综合梯度的梯度信息来提高其可扩展性，达到模型解释的目的。通过对 MNIST、ImageNet 和 Beer Reviews 这三个数据集的实验，证明了这种 - ICML一种通用的一阶算法框架，用于双层规划，超越了下层单例
提出了 Bi-level Descent Aggregation (BDA) 算法框架，能够解决通用的双层优化问题且不需要 Lower-Level Singleton (LLS) 条件，并进一步改进了传统 LLS 方法的收敛性。实验结果证明 - 解决贝尔曼方程的核损失
本文提出了一种新的损失函数，可以使用标准的梯度下降优化，避免了以往算法中需要双样本的问题，并可以与深度学习等函数类相结合，且在多个基准测试中表现可靠和有效。
- 可微分的游戏机制
本文针对深度学习建立在梯度下降收敛局部极小值的基础上这一保证在生成对抗网络等存在多个交互损失的情况下失效问题，研究了 N 人不可微分博弈的动态性，提出了一种新的算法 Symplectic Gradient Adjustment (SGA) - 数据 Shapley: 机器学习数据的公平估值
本研究提出一种考虑数据公正价值的方法，通过估算数据 Shapley 值来解决在监督学习中评估数据价值的困难，并且发现该方法优于其他流行的评估方法，可以有效提高预测器的性能。
- 随机特征在理解神经网络中的能力和局限
本文回顾了最近一系列训练超参数神经网络和学习随机特征的实证结果及其限制性说明，论述了神经网络的理论困境并对其表现出的令人印象深刻的经验结果提出了仍需克服的挑战。
- 解决参数化量子电路中贫瘠高原问题的初始化策略
文章提出了一种随机参数初始化生成浅层块的量子电路初始化策略，以应对梯度消失问题，实现了基于梯度的训练方法，解决了过去针对基本问题不能使用最紧凑的量子电路的问题。
- AAAI学习超参数化深度 ReLU 网络的梯度下降泛化误差界
通过算法依赖的综合误差界推导，论文解释了过度参数化的深度神经网络在合适的随机初始化下，使用梯度下降法可以获得任意小的泛化误差。
- 用于网络分布式优化的推拉梯度方法
本文介绍了一种新的分布式梯度方法，称为 “推 - 拉梯度方法”，利用两种不同的图形实现代理之间的信息交换，并在同步和异步随机传递的情况下，线性地收敛于重要的自治网络。
- 用傅里叶分析理解深度学习中的训练和泛化
通过傅里叶分析，研究 DNN 训练的理论框架，解释了梯度下降法训练 DNN 经常赋予目标函数低频分量更高的优先级，小的初始化导致 DNN 具有良好的泛化能力，同时保留拟合任何函数的能力。这些结果进一步得到了 DNN 拟合自然图像、一维函数和 - 提升游戏动力学的负动量
本文分析了基于动量的梯度下降法在线性游戏中的应用，证明交替更新比同时更新更加稳定。同时，理论和实验都表明带有负动量项的交替梯度下降法能够实现在困难的攻击问题和难以训练的 saturating GANs 中的收敛。
- MM学习基于图像的加权模型
本文中，我们考虑了学习 GWMs 的问题，在正负样本上使用基于梯度的方法，证明了对二维图像进行回归和分类是可能的，并且可以将其他图形系列和 GWM 计算的函数进行学习。