- SGLD 的独立于时间的信息论泛化界
我们提供了一种新的信息理论泛化界限，用于研究随机梯度 Langevin 动力学（SGLD），在平滑性和耗散性的假设下。我们的界限是独立于时间的，当样本大小增加时会衰减为零，无论迭代次数和步长是否固定。与以前的研究不同，我们通过关注 Kull - 通过学习系数量化奇异模型的退化
深度神经网络中的退化度由称为学习系数的数量精确量化，本文通过使用随机梯度 Langevin 动力学近似计算具有局部化版本的学习系数，验证了该方法的准确性，并展示了学习系数能够揭示随机优化器对于更或更少退化临界点的引导偏差。
- Harpa：基于旅行时间神经场的高速相位关联
利用深度神经场建立波速及相应行程时间生成模型，并采用一种优化输运损失来执行高速地震相联合估计和结合。解决了波速及异源估计问题，实现了对高速地震云的有效结合，处理了嘈杂数据和缺失数据，极大地促进了地震数据处理的技术进步。
- 基于 SGLD 的信息准则和过参数化区域
通过信息风险最小化框架更新信息准则定理的分析，提供了基于随机梯度 langevin 动力学的模型的赤池信息准则和贝叶斯信息准则，并将信息论分析扩展到了过参数化模型中。
- 随机梯度 Langevin 扩散中的子采样误差
在理想版本的 SGLD 之下，该文分析了 SGLD 的纯子采样误差，并将其视为扩散子采样 MCMC 方法的最佳情况下的误差。作者引入和研究了一种连续时间马尔可夫过程 SGLDiff，它在指数等待时间后随数据子集转移，并展示了后验分布与 SG - 使用被动 Langevin 动态的自适应逆强化学习的有限样本界
本文提供了一种用于反向学习的被动随机梯度 Langevin 动力学 (PSGLD) 算法的有限样本分析，并提供了 2-Wasserstein 距离的有限时间界限来衡量算法和基于前向学习的随机梯度算法之间的性能。
- ICML低精度随机梯度 Langevin 动力学
本文研究了低精度随机梯度 Langevin 动力学（SGLD）和其量化方法在深度学习中的应用，发现低精度梯度累积器通过新开发的量化函数可以实现较少的成本和可比的性能。
- ICLR交互轮廓随机梯度 Langevin 动力学
本论文提出了交互轮廓随机梯度 Langevin 动力学 (ICSGLD) 采样器，是一种具有高效交互的令人尴尬的并行多链轮廓随机梯度 Langevin 动力学 (CSGLD) 采样器。我们证明，ICSGLD 在等效计算预算下在理论上可以比单 - 通过 Langevin 动力学和生成式先验实现可证明的压缩感知
本文研究了在压缩感知中使用深度生成模型以及通过随机梯度 Langevin 动力学方法实现收敛的性质，并证明了该方法的实验性能与标准的梯度下降方法相当。
- 多峰分布模拟的轮廓随机梯度 Langevin 动力学算法
本论文提出了一种称为轮廓随机梯度 Langevin 动力学（CSGLD）的自适应加权随机梯度 Langevin 动力学算法，用于 Bayesian 学习在大数据的统计学中。该算法在多模态分布的模拟中具有很大的优势，并测试了 CIFAR10 - 非对数凹采样的随机梯度 Langevin 动力学的更快收敛
本文提供一种新的收敛分析方法，使用辅助的时间可逆 Markov 链来分析随机梯度 Langevin 动力学（SGLD）对一类难以 log-concave 优化分布进行采样的效果。在目标分布的一定条件下，我们证明了 SGLD 的收敛速度优于过 - ICML基于关系图的贝叶斯元学习进行少样本关系抽取
本文研究了利用少量标记数据进行关系抽取的方法，为了更好地概括新关系，我们提出了利用全局关系图的方法，使用贝叶斯元学习的方法来有效地学习关系的原型向量的后验分布，并使用随机梯度 Langevin 动力学来优化原型向量的后验分布，整个框架能够有 - 使用稳定的共享参数代理为单次拓扑 NAS 提供动力
该论文提出了一种名为 Stabilized Topological Neural Architecture Search（ST-NAS）的方法，通过使用稳定的共享参数代理，并在复杂的拓扑结构搜索空间中采用随机梯度 Langevin 动态，实 - 通过 Langevin 动力学与对抗训练实现强化学习的鲁棒性
本研究基于随机梯度 langevin 动力学引入了一种采样视角来训练机器人学习代理，构建了一种新型、可扩展的两个玩家机器人学习算法，并在多个 MuJoCo 环境中证明了该算法相对于传统机器人学习算法更具有一般化能力。
- 通过数据依赖估计的信息理论广义绑定对 SGLD 的应用
本文改进了 Pensia，Jog 和 Loh (2018) 开始的有噪声迭代学习算法的逐步分析，并在 Bu，Zou 和 Veeravalli (2019) 的基础上最近扩展。我们主要的贡献是通过数据相关估计显著提高了随机梯度 Langevi - AAAI随机梯度 langevin 动力学中的成员隐私特征
本文从成员隐私保护的角度出发，研究了 SGLD 算法的信息泄露性质，证明了 SGLD 算法能够在一定程度上防止训练数据集的信息泄露，同时实验结果验证了该算法在实际应用中不仅能够减少信息泄露，还能够提高深度神经网络的泛化能力。
- ICML自适应预处理随机梯度 Langevin 动力学
本研究利用自适应参数预处理噪声的方法，将 Fisher Scoring 等高阶曲率信息引入 Stochastic Gradient Langevin Dynamics 中，使其能够有效地跳出深度神经网络中曲率异常的波动区域，与 Adam、A - ICLR非凸学习中带噪声梯度方法的泛化误差界
本文应用 Bayes-Stability 框架证明算法相关的广义误差界，得到了随机梯度 Langevin 动力学以及其他一些带噪声梯度的方法（例如加动量，小批量和加速，熵 - SGD）的数据相关的新广义误差界，论文结果较之前相关研究更紧凑。
- 随机梯度 Langevin 动力学的优缺点
本文研究了基于大规模数据集的贝叶斯学习的关键 MCMC 算法，发现当前常用的 SGLD 算法存在问题，但通过引入控制变量后的 SGLD Fixed Point 算法可以有效改善该问题，且与 Langevin Monte Carlo 算法计算 - ICML贝叶斯神经网络后验分布的对抗蒸馏
提出了对抗后验蒸馏框架，使用生成对抗网络 (GAN) 来压缩随机梯度 Langevin 动力学 (SGLD) 采样，使其在效率和精度方面都具有优势，能够将 Bayes 神经网络 (BNN) 应用于诸如异常检测、主动学习和对抗性攻击防御等细分