提出了一种新的框架：Telescoping Density-Ratio Estimation (TRE)，可估算高维空间中高度不同密度之间的密度比，并在互信息估算，表示学习和基于能量的建模方面取得了显着的改进。

Jun, 2020

本文旨在解决 BD 最小化在高度灵活模型（例如深度神经网络）方面常常出现的过拟合问题。作者提出了一种经验 BD 估算器的非负校正方法，并在实验中证明了该方法的有效性及其在基于异常点检测的 “内点” 类问题上的表现。

Jun, 2020

本文提出了一种基于相对散度的密度比较方法，它可以更好地处理密度比例函数中的高峰和波动，具有良好的非参数收敛速度和模型复杂度，通过实验证明了该方法的有效性。

Jun, 2011

最近，神经网络在机器学习中的基础技术密度比估计（DRE）中取得了最先进的结果。然而，现有方法由于 DRE 的损失函数引起了优化问题：KL 散度具有大样本要求，训练损失梯度消失，以及损失函数的偏向梯度。因此，本文提出了一种提供简洁实现和稳定优化的 α- 散度损失函数（α-Div）。此外，还提出了对所提出的损失函数的技术验证。通过实验证明了所提出的损失函数的稳定性，并研究了 DRE 任务的估计精度。此外，本研究提出了使用所提出的损失函数进行 DRE 的样本要求，以 $L_1$ 误差的上界将高维 DRE 任务视为常见问题的复杂度。

Feb, 2024

基于增量混合模型的密度比率估计方法通过在勒贝格流形上进行几何解释和蒙特卡洛采样，显著改善了稳定性和准确度。

Jun, 2024

提出了一种基于核算子特征函数的密度比估计器，避免了显式降维步骤，可以更好地反映数据的几何结构，同时可扩展应用于极端高维下的似然函数估计问题。

Apr, 2014

通过分析一类正则化 Bregman 散度的密度比率估计方法，我们得出新的有限样本误差界，并提出一种 Lepskii 类的参数选择原则，在不知道密度比率的规则性的情况下最小化误差界。在二次损失的特殊情况下，我们的方法能够自适应地达到极小极大误差率。

Jul, 2023

本文提出了一种鲁棒的密度比估计方法，可以自动识别和修剪异常值，并采用凸形式的参数估计误差分析和次梯度下降方法进行全局优化。

Mar, 2017

本文从最大似然密度比估计的角度提供了一个统一的视角，用于解释 Kullback-Leibler（KL）散度和积分概率度量（IPMs）。我们表明 KL 散度和 IPMs 可以表示为仅有样本采样方案不同的最大似然估计值的形式，利用这个结果导出了 IPMs 的统一形式和一种松弛的估计方法。我们构建了一个无限制最大似然估计器来执行分层采样方案的 DRE，进一步提出了一个新的概率差异类，称为密度比度量（DRMs），其插值了 KL 散度和 IPMs。此外，我们还介绍了一些 DRMs 的应用，例如 DRE 和 GAN。在实验中，我们验证了我们提出的方法的有效性。

Jan, 2022

从有限数量的密度观测结果中估计两个概率密度的比率是机器学习和统计学中的一个核心问题。本研究从一类 Bregman 散度中的预设误差度量出发，表征了导致密度比率估计具有小误差的所有损失函数，并提供了一个简单的构建具有特定属性的损失函数的方法。

Jul, 2024