$\alpha$- 散度损失函数用于神经密度比估计

Feb, 2024

$\alpha$- 散度损失函数用于神经密度比估计

$α$-Divergence Loss Function for Neural Density Ratio Estimation

Yoshiaki Kitazawa

TL;DR最近，神经网络在机器学习中的基础技术密度比估计（DRE）中取得了最先进的结果。然而，现有方法由于 DRE 的损失函数引起了优化问题：KL 散度具有大样本要求，训练损失梯度消失，以及损失函数的偏向梯度。因此，本文提出了一种提供简洁实现和稳定优化的 α- 散度损失函数（α-Div）。此外，还提出了对所提出的损失函数的技术验证。通过实验证明了所提出的损失函数的稳定性，并研究了 DRE 任务的估计精度。此外，本研究提出了使用所提出的损失函数进行 DRE 的样本要求，以 $L_1$ 误差的上界将高维 DRE 任务视为常见问题的复杂度。

Abstract

Recently, neural networks have produced state-of-the-art results for density-ratio estimation (DRE), a fundamental technique in machine learning. However, existing methods bear →

neural networks density-ratio estimation $\alpha$-divergence loss function optimization high-dimensional dre tasks

发现论文，激发创造

深度直接密度比估计的非负 Bregman 散度最小化

本文旨在解决 BD 最小化在高度灵活模型（例如深度神经网络）方面常常出现的过拟合问题。作者提出了一种经验 BD 估算器的非负校正方法，并在实验中证明了该方法的有效性及其在基于异常点检测的 “内点” 类问题上的表现。

Jun, 2020

密度比估计的二元损失

从有限数量的密度观测结果中估计两个概率密度的比率是机器学习和统计学中的一个核心问题。本研究从一类 Bregman 散度中的预设误差度量出发，表征了导致密度比率估计具有小误差的所有损失函数，并提供了一个简单的构建具有特定属性的损失函数的方法。

Jul, 2024

用于稳健分布比较的相对密度比估计

本文提出了一种基于相对散度的密度比较方法，它可以更好地处理密度比例函数中的高峰和波动，具有良好的非参数收敛速度和模型复杂度，通过实验证明了该方法的有效性。

Jun, 2011

通过无穷小分类进行密度比率估计

该论文提出了一种基于 DRE-∞的、通过蒙特卡罗方法的数值计算技术，从而能够更准确地估算高维度数据中的概率分布之间的密度比率，并为复杂的高维数据集上的任务（如相互信息估计和能量建模）提供了更好的性能。

Nov, 2021

通过学习密度比进行拒绝

通过改变监督学习流程和优化损失函数的风险，提出了一种以拒绝为基础的学习范式，通过利用密度比率来决定模型的拒绝决策，并在干净和噪声数据集上进行了实证测试。

May, 2024

在 RKHS 中的密度比自适应学习

通过分析一类正则化 Bregman 散度的密度比率估计方法，我们得出新的有限样本误差界，并提出一种 Lepskii 类的参数选择原则，在不知道密度比率的规则性的情况下最小化误差界。在二次损失的特殊情况下，我们的方法能够自适应地达到极小极大误差率。

Jul, 2023

使用最近邻比率直接估计信息差异

提出了新的图论解释下的直接估计方法，用于估计 Renyi 和 f-divergence 的度量。通过对 Y 中 k-NN 方案点和 X 中点数之间的平均功率进行估计，可以获得两个密度之间的 Renyi divergence 估计值，并且这种方法可以用于估计 f-divergence 度量。通过使用加权合成估计技术，该方法可以用于具有连续和有界导数的密度函数的估计，其能够获得参数 MSE 率 O (1/N)。

Feb, 2017

深度密度比估计用于变点检测

本文提出新的目标函数来训练基于深度神经网络的密度比估计器，并将其应用于变点检测问题。我们比较使用梯度下降法来最小化的目标函数，并表明使用我们的深度密度比估计目标函数在癫痫检测任务上表现比其他基于核函数和神经网络的密度比估计方法和其他基于窗口的变点检测算法要好。我们还表明，在这种方法下仍然可以支持其他神经网络体系结构，例如卷积网络。

May, 2019

训练神经网络进行似然 / 密度比估计

本文介绍了一种基于神经网络和优化方法的似然比函数估计的方法，可用于工程和统计领域中的检测和假设检验问题。

Nov, 2019

基于模拟的推断与广义 Kullback-Leibler 散度

在基于模拟的推断中，我们提出了一种通用的 Kullback-Leibler 散度优化方法，可以处理非规范化分布，将常用的神经后验估计方法和神经比率估计方法统一为一个目标，并研究了一个混合模型，通过学习规范化基础分布和学习比率来同时发挥两者的优势，并给出了基准结果。

Oct, 2023