- 通过维度对数 Sobolev 不等式在概率测度中精确检测低维结构
提出了一种通过最小化维度对数 Sobolev 不等式和 KL 散度，以识别目标与参考测度之间的近似关系的方法，该方法适用于高维概率测度的低维结构识别和有效抽样。
- Wasserstein 梯度流的 Forward-Euler 时间离散可能存在问题
通过两个反例，我们研究了前向欧拉离散化方法在模拟 Wasserstein 梯度流方面的失败，即使对于能量函数定义为相对于一些结构完整的概率密度的 KL 散度的简单情况也是如此。我们还讨论了这种失败的简单解释。
- 贝叶斯核心集质量的一般界限
Bayesian coresets can speed up posterior inference by approximating the full-data log-likelihood function with a surroga - 无对抗训练的深度最大均值差梯度流
我们提出了一种梯度流程用于生成建模，通过将粒子从初始源分布传输到目标分布，其中粒子上的梯度场由噪声自适应最大均值差异 (MMD) 的梯度给出。我们称该方法为扩散 - MMD - 梯度流或 DMMD。该方法不需要对抗性训练，而与生成对抗网络 - 令牌级直接优化偏好
通过优化策略的 token 级别前向 KL 散度约束，引入了 Token-level Direct Preference Optimization（TDPO）一种在 human preferences 上对齐 LLMs 的新方法，提高了对齐 - 优于 KL 的 PAC-Bayes 界
本文研究了使用新颖且优于 KL 散度的 PAC-Bayes 边界，以及这种边界在估计均值时的集中不等式问题，对比了以往 KL 散度为基础的边界，并探讨了最佳 PAC-Bayes 边界速率的可能性。
- 最佳 N 对齐策略的理论保证
用一种简单且有效的方法来对齐生成模型是最佳 n 策略，从基本策略中抽取 n 个样本并根据奖励函数进行排名，选择排名最高的样本，本文否定了文献中常用的分析表达式，证明了 KL 散度和最佳 n 策略以及基本策略之间不相等的关系，并探讨了这个上界 - AAAI基于条件变分自动编码器的手语翻译与跨模态对齐
为了解决手语翻译中视觉和文本之间的跨模态对齐问题，本研究提出了一种基于条件变分自编码器的新型框架（CV-SLT），通过引入两个 KL 散度来促进手语视频和口语文本之间的直接且充分的跨模态对齐。实验证明，该框架在公共数据集上取得了新的最先进结 - 通过在 Wasserstein 空间中的多面体优化实现均场变分推断的算法
有限维多面体子集、Wasserstein 空间、均场变分推断、最小化算法和 KL 散度。
- 一步扩散与分布匹配蒸馏
通过实施分布匹配蒸馏 (Distribution Matching Distillation) 以及多步扩散输出的大规模结构简单回归损失相匹配的方法，我们将扩散模型转化为一步图像生成器，以显著降低对图像质量的影响，使其在 ImageNet - 初始化对过参数化神经网络的隐私 - 效用分析
过度参数化和随机化机器学习算法对其训练数据的信息泄露有何影响，通过解析分析我们得出了模型分布间的 KL 散度的隐私界限，并研究其对全连接神经网络的初始化、宽度和深度的依赖性。我们发现，这个 KL 隐私界限很大程度上由训练过程中的模型参数相对 - 基于 Wasserstein 分配鲁棒性的上下文强化学习策略评估与学习
提出了一种利用 Wasserstein 距离的分布鲁棒优化方法，用于解决环境不匹配的问题，并提供了理论分析和实证验证。
- 使用本地线性模型的变分梯度下降
通过使用本地线性模型，提出了一种使用目标和粒子分布的样本计算梯度的新方法，可以替代需要计算目标得分函数的 Stein 变分梯度下降（SVGD）方法。
- 在 Bures-Wasserstein 空间中通过 JKO 实现前向后向的高斯变分推断
本文提出了正向反向高斯变分推断算法，利用 KL 散度的结构，能够有效逼近高斯目标分布，得到了最新颖的收敛保证。
- 使用 Tsallis KL 散度的广义 Munchausen 强化学习
该研究探讨了一种广义的 KL 散度，称为 Tsallis KL 散度，并将其应用于政策优化，通过将其与基于 MVI 的 KL 正则化相结合，证明该技术可有效提高 35 个 Atari 游戏的表现。
- 政策优化的贪婪算子：研究正向和反向 KL 散度
本论文研究了使用 KL 散度来进行策略更新的近似策略迭代算法中，正反向 KL 散度的差异及其对策略改进的影响，进一步探讨熵正则化以及使用前向和后向 KL 散度不同选择的策略改进保证，同时提出许多策略梯度方法可作为近似策略迭代算法的实例，为进 - 使用前向 Kullback-Leibler 散度进行重要性采样的变分细化
提出了一种结合优化和抽样技巧的近似贝叶斯推断方法，通过最小化前向 KL 散度构建了一种 IS 建议分布，实验证明该方法在现实数据上与变分提升和 MCMC 相竞争。
- 宽广场（Wide）均场变分贝叶斯神经网络忽视数据
该研究利用变分推断来近似后验推断高度超参数化的神经网络，研究发现当单层贝叶斯神经网络中的隐藏单元数量趋近于无穷大时，平均场变分推断下的函数空间后验均值实际上收敛于零，完全忽略数据，这与真后验收敛于高斯过程相反。这项工作提供了对变分推断中 K - 捕获标签分布：自然语言推理案例研究
研究了自然语言推理任务中固有人类分歧 (注释标签分布) 的估计。通过后处理平滑预测的标签分布以匹配期望的标签熵取得了很好的效果。同时，通过引入有多个参考的少量样例进行训练，相较于传统做法每个训练样本只采集一个参考，我们发现这种多参考的方法可 - ICCV通道级知识蒸馏用于密集预测
利用 KL 散度和频道 - wise 蒸馏进行语义分割，以更小的计算成本，优于目前所有已知的空间蒸馏方法，可视为有效的知识提取方法。