本文通过收紧文献中已使用的f-divergences变分表示方法，提出了更紧的表示方法。作为一个示例应用，我们使用更紧的表示法推导出一种基于两个独立同分布样本的通用的f-divergence估计器，并推导出该估计器的对偶程序，在实践中表现良好。我们还指出了该估计器与最大均值差异(MMD)之间的联系。

Jun, 2012

提出了新的图论解释下的直接估计方法，用于估计Renyi和f-divergence的度量。通过对Y中k-NN方案点和X中点数之间的平均功率进行估计，可以获得两个密度之间的Renyi divergence估计值，并且这种方法可以用于估计f-divergence度量。通过使用加权合成估计技术，该方法可以用于具有连续和有界导数的密度函数的估计，其能够获得参数MSE率O(1/N)。

Feb, 2017

本文研究了在结构假设条件下用样本估算概率分布之间f-divergence的问题，提出了一种易于实现、适用于高维数据且收敛速度更快的估算器，并在合成和真实数据实验中验证了其行为。

May, 2019

本文旨在解决BD最小化在高度灵活模型（例如深度神经网络）方面常常出现的过拟合问题。作者提出了一种经验BD估算器的非负校正方法，并在实验中证明了该方法的有效性及其在基于异常点检测的“内点”类问题上的表现。

Jun, 2020

该论文提出了一种基于DRE-∞的、通过蒙特卡罗方法的数值计算技术，从而能够更准确地估算高维度数据中的概率分布之间的密度比率，并为复杂的高维数据集上的任务（如相互信息估计和能量建模）提供了更好的性能。

Nov, 2021

本文从最大似然密度比估计的角度提供了一个统一的视角，用于解释Kullback-Leibler（KL）散度和积分概率度量（IPMs）。我们表明KL散度和IPMs可以表示为仅有样本采样方案不同的最大似然估计值的形式，利用这个结果导出了IPMs的统一形式和一种松弛的估计方法。我们构建了一个无限制最大似然估计器来执行分层采样方案的DRE，进一步提出了一个新的概率差异类，称为密度比度量（DRMs），其插值了KL散度和IPMs。此外，我们还介绍了一些DRMs的应用，例如DRE和GAN。在实验中，我们验证了我们提出的方法的有效性。

Jan, 2022

通过分析一类正则化 Bregman 散度的密度比率估计方法，我们得出新的有限样本误差界，并提出一种 Lepskii 类的参数选择原则，在不知道密度比率的规则性的情况下最小化误差界。在二次损失的特殊情况下，我们的方法能够自适应地达到极小极大误差率。

Jul, 2023

最近，神经网络在机器学习中的基础技术密度比估计（DRE）中取得了最先进的结果。然而，现有方法由于DRE的损失函数引起了优化问题：KL散度具有大样本要求，训练损失梯度消失，以及损失函数的偏向梯度。因此，本文提出了一种提供简洁实现和稳定优化的α-散度损失函数（α-Div）。此外，还提出了对所提出的损失函数的技术验证。通过实验证明了所提出的损失函数的稳定性，并研究了DRE任务的估计精度。此外，本研究提出了使用所提出的损失函数进行DRE的样本要求，以$L_1$误差的上界将高维DRE任务视为常见问题的复杂度。

Feb, 2024

基于样本数据，我们考虑使用某个组件类的有限混合密度来估计概率密度函数的问题，并引入H-提升Kullback-Leibler（KL）散度作为标准KL散度的一种泛化和进行风险最小化的准则。在紧支持假设下，我们证明了使用H-提升KL散度时估计误差的期望具有O(1/√n)的上界，这扩展了Rakhlin等人（2005）和Li和Barron（1999）的结果，从而允许风险绑定到非严格正的密度函数。我们使用Majorization-Maximization框架开发了相应的最大H-提升似然估计器（H-MLLE）计算方法，并提供了实验结果以支持我们的理论界限。

Apr, 2024

从有限数量的密度观测结果中估计两个概率密度的比率是机器学习和统计学中的一个核心问题。本研究从一类Bregman散度中的预设误差度量出发，表征了导致密度比率估计具有小误差的所有损失函数，并提供了一个简单的构建具有特定属性的损失函数的方法。

Jul, 2024