Jun, 2011

用于稳健分布比较的相对密度比估计

PDF
TL;DR本文提出了一种基于相对散度的密度比较方法，它可以更好地处理密度比例函数中的高峰和波动，具有良好的非参数收敛速度和模型复杂度，通过实验证明了该方法的有效性。
density-ratiosdivergence estimationrelative divergencesnon-parametric convergencemodel complexity
发现论文，激发创造
  • 半参数密度比模型下的 f - 散度估计和双样本同质性检验

    本文研究了密度比的推断问题，并将半参数密度比估计器应用于双样本均匀性检验，提出了一种基于 f - 差异估计的检验过程，导出了 f - 差异的最优估计器，并用数值研究说明渐近理论在有限样本推断中的充分性。

    Oct, 2010

  • 使用最近邻比率直接估计信息差异

    提出了新的图论解释下的直接估计方法，用于估计 Renyi 和 f-divergence 的度量。通过对 Y 中 k-NN 方案点和 X 中点数之间的平均功率进行估计，可以获得两个密度之间的 Renyi divergence 估计值，并且这种方法可以用于估计 f-divergence 度量。通过使用加权合成估计技术，该方法可以用于具有连续和有界导数的密度函数的估计，其能够获得参数 MSE 率 O (1/N)。

    Feb, 2017

  • 高维密度比估计及其拓展在近似似然计算中的应用

    提出了一种基于核算子特征函数的密度比估计器，避免了显式降维步骤，可以更好地反映数据的几何结构，同时可扩展应用于极端高维下的似然函数估计问题。

    Apr, 2014

  • 在 RKHS 中的密度比自适应学习

    通过分析一类正则化 Bregman 散度的密度比率估计方法，我们得出新的有限样本误差界，并提出一种 Lepskii 类的参数选择原则，在不知道密度比率的规则性的情况下最小化误差界。在二次损失的特殊情况下，我们的方法能够自适应地达到极小极大误差率。

    Jul, 2023

  • 修剪后的密度比率估计

    本文提出了一种鲁棒的密度比估计方法，可以自动识别和修剪异常值，并采用凸形式的参数估计误差分析和次梯度下降方法进行全局优化。

    Mar, 2017

  • 密度比估计的二元损失

    从有限数量的密度观测结果中估计两个概率密度的比率是机器学习和统计学中的一个核心问题。本研究从一类 Bregman 散度中的预设误差度量出发，表征了导致密度比率估计具有小误差的所有损失函数，并提供了一个简单的构建具有特定属性的损失函数的方法。

    Jul, 2024

  • 望远镜密度比估计

    提出了一种新的框架：Telescoping Density-Ratio Estimation (TRE)，可估算高维空间中高度不同密度之间的密度比，并在互信息估算，表示学习和基于能量的建模方面取得了显着的改进。

    Jun, 2020

  • 通过无穷小分类进行密度比率估计

    该论文提出了一种基于 DRE-∞的、通过蒙特卡罗方法的数值计算技术，从而能够更准确地估算高维度数据中的概率分布之间的密度比率，并为复杂的高维数据集上的任务（如相互信息估计和能量建模）提供了更好的性能。

    Nov, 2021

  • $\alpha$- 散度损失函数用于神经密度比估计

    最近，神经网络在机器学习中的基础技术密度比估计（DRE）中取得了最先进的结果。然而，现有方法由于 DRE 的损失函数引起了优化问题：KL 散度具有大样本要求，训练损失梯度消失，以及损失函数的偏向梯度。因此，本文提出了一种提供简洁实现和稳定优化的 α- 散度损失函数（α-Div）。此外，还提出了对所提出的损失函数的技术验证。通过实验证明了所提出的损失函数的稳定性，并研究了 DRE 任务的估计精度。此外，本研究提出了使用所提出的损失函数进行 DRE 的样本要求，以 $L_1$ 误差的上界将高维 DRE 任务视为常见问题的复杂度。

    Feb, 2024

  • 用于估计面向模型的分布差异的 R - 散度

    通过介绍 R - 散度来评估模型导向的分布差异，我们评估了 R - 散度在各种无监督和有监督任务中的测试能力，并发现其实现了最先进的性能。为了证明 R - 散度的实用性，我们利用 R - 散度在带有噪声标签的样本上训练了鲁棒性神经网络。

    Oct, 2023