讨论了 Kullback-Leibler (KL) 散度在可能性理论中的关系，在附录中对其进行了简单严谨的推导，并强调了其在神经编码领域中的自然应用。

Apr, 2014

该研究提出了一种快速通用的方法，可以对混合模型的熵、交叉熵和 KL 散度的闭合形式下限和上限进行算法生成。

Jun, 2016

该研究系统研究了从凸性对偶的角度出发将 $f$-divergences 和 Integral Probability Metrics 两个家族联系在一起的关系，派生出一种广义的矩生成函数并在此基础上得出了许多针对 $f$-divergences 的新的下限。此外，研究还证明了衍生出的这种下限的不同拓扑性质。

Jun, 2020

采用总变差距离 (TVD) 为目标函数以及 TaiLr 目标函数，可以改善自回归解码期间的文本退化问题，同时在各种文本生成任务中提高生成质量。

Feb, 2023

本文介绍了一些系统性的方法来获得在任意字母表上定义的概率测度对之间的 f - 差异不等式，其中包括函数占优方法、基于矩不等式和对数凸性属性的方法；在对相对信息性施加有界性假设的情况下，本文还阐述了各种界限，并特别关注了总变差距离及其与相对信息和相对熵的关系，包括 “reverse Pinsker 不等式”，以及广义化的总变差距离 Eγ 差异。

Aug, 2015

通过图模型和概率推理，本论文建立了总变差距离的新连接，提出了一种有效的降维方法，实现了对有界树宽的贝叶斯网分布进行总变差距离的估计。

Sep, 2023

本研究提出了一种新的变分推断方法，通过最小化切片 Wasserstein 距离来近似非规范化分布并使用神经网络对变分分布进行逼近。我们还提供了理论性分析，并用合成和实际数据进行了实验验证。

Jul, 2022

研究在字母表大小可以无限扩展的假设下，基于从 P 中抽取 m 个独立样本和从 Q 中抽取 n 个独立样本，估算两个未知分布 P 和 Q 之间 Kullback-Leibler 差异的问题，并提出了改进后的插件估计器和最小二次风险最小值估计器。

Jul, 2016

该论文提出了两种可用于变分推断和特别是变分自编码器训练的基于 Kullback-Leibler 和 Rényi 分歧的对数似然的新界限，这受到在连续数据集上训练 VAE 时遇到的困难的启发，同时避免了给数据添加任何额外噪音来源的必要，具有数值稳定的训练程序。

Jul, 2018

我们提出了一种实用的方法，使用一个未在训练中暴露给模型的小规模保留数据集来审计差分隐私（DP）保证。我们的方法利用得分函数（如训练期间使用的损失函数）估计使用训练数据子集和保留数据集获得的得分之间的总变差（TV）距离，在了解底层 DP 训练算法的一些元信息的情况下，这些 TV 距离值可以转换为任意 δ 的（𝜖, δ）保证。我们表明，这些得分分布渐近地为底层训练算法的 DP 保证提供下界，但基于实用性的原因，我们对其进行了一次估计。我们指定导致高概率下界 DP 保证的条件。为了估计得分分布之间的 TV 距离，我们使用了基于直方图的简单密度估计方法。我们表明，TV 距离提供了一个非常接近最优鲁棒估计器，并具有一个误差率𝒪(k^(−1/3))，其中 k 是总样本数。基准数据集上的数值实验说明了我们方法的有效性，并展示了对于黑盒审计的改进。

Jun, 2024