- 因果自解释的 D - 分离
最小条件依赖性（MCD）准则是一个新颖的框架，用于揭示自然语言处理模型的因果理性，并通过最小化输入的未选择部分与目标标签在选择的理性候选项上的条件依赖关系来选择标签的所有原因。经验证，MCD 相比以往基于 MMI 的方法改善了 F1 得分高 - KL 散度引导的温度采样
本文提出了通过 KL 散度来动态调整温度的采样算法，以减轻基于源文件的预测算法中多样性与制约之间的平衡问题，实验证明该算法在对话问答和摘要任务中优于传统的 top-k 和 top-p 算法。
- 使用不确定性集合的鲁棒期望信息增益优化贝叶斯实验设计
该研究提出了一种修改后的 EIG 最大化目标函数，称之为 REIG，并利用其在近似 KL - 散度的先验概率分布的模糊区间内最小化关于 EIG 的仿射松弛。研究表明，当与基于采样的 EIG 估计相结合时，REIG 对可估计量的变异性也进行了 - 最大化 Wasserstein 距离的内在控制
本文提出了一种通过最大化状态访问的 Wasserstein 距离学习最大化技能的代理奖励的方法，这种方法比基于多样性的目标导向策略在 MDP 中的覆盖范围更广， 并在各种 Atari 环境中验证了结果。
- 无记忆多路访问信道容量区域的神经计算
本文提供了一个数值框架，用于计算具有连续字母表的无记忆多路访问通道（MAC）的可达速率区域。该方法使用了神经网络参数化的一组函数来计算 MAC 的速率区域边界，并使用 KL 散度的变分下限和上限来实现计算。该方法提供比 MINE 估计器更紧 - 高斯过程回归中的稀疏变分推断收敛性
本文研究高斯过程在贝叶斯建模中的应用，探讨了使用较少的引入变量进行逼近的解决方案，并给出了在高质量逼近下引入变量的增长上下界。
- IJCAI一种具有有效蒸馏动态软标签正则化器的随机批次增强
本文提出了一种叫作 Stochastic Batch Augmentation (SBA) 的框架，它通过在训练过程中动态地加入与原始样本相似的数据分布信息，并通过 KL-Divergence 对原始数据和虚拟数据的输出 soft-max - Langevin Monte Carlo 的收敛性：尾部增长和平滑性的相互作用
研究了从目标分布采样的 Langevin Monte Carlo 算法及其在 KL 散度方面的收敛速度，该收敛速度与函数潜力的尾部增长率无关，仅依赖于平滑性的顺序，并且允许具有中度尾部增长的广泛潜力类。
- NIPS学习马尔可夫链
研究分析了来自样本的未知 Markov 链的估计问题，特别是预测下一样本的条件分布和转移矩阵的估计问题。研究利用 KL 散度和 f - 散度探讨了这两个问题的 min-max 风险，得出了它们的风险界限和上界。
- GAN 的判别器可近似性意味着多样性
本文研究发现，通过针对特定生成器选择具有强鉴别能力的鉴别器以学习 Wasserstein 距离下（或者在很多情况下是 KL 散度下）的分布，一定能以多项式复杂度学习，从而解决了 GANs 过于简单导致模式严重缺失的问题。
- Langevin MCMC 在 KL 散度下的收敛性
研究 Langevin 扩散在采样、KL - 散度、强凸性、收敛速率等方面的应用，证明在目标密度是 L 光滑且 m 强凸的情况下，该扩散可以在几步内收敛于目标分布，同时揭示了在强凸性假设缺失时的收敛速率。
- CVPR基于基数约束的多模态平均场方法
该研究介绍了一种用加权混合分布取代 Mean Field 完全分解的方法，通过这种方式，可以更好地逼近真后验概率，进而提高一些计算机视觉算法的性能。
- ICLR使用虚拟对抗训练进行分布平滑
本文提出了一种基于 KL 分歧的局部分布平滑正则方法，称作虚拟对抗训练，用于半监督学习中的神经网络，通过模型分布的稳健性来决定对抗方向，较低的计算成本使得该方法在 MNIST，SVHN 和 NORB 数据集上的性能超过了其他训练方法，除一个 - NIPS分布式估计、信息损失和指数族
通过本文，我们研究并证明了一种简化的通信高效分布式学习框架，它利用数据子集计算本地最大似然估计量，并结合本地估计值实现对全局 MLE 的最佳近似，并证明了该框架的统计性质与误差率性质。我们还研究了使用 KL 散度方法与更常见的线性组合方法组 - 从 $ε$- 熵到 KL - 熵：最小信息复杂度密度估计的分析
本篇论文研究了基于 KL 散度的复杂度度量方法，为确定性和随机密度估计器的统计复杂度提供了一般的信息理论不等式，并发现这种技术可以改进一些经典结果，特别是可以导出干净的有限样本收敛界限。