使用多项式逻辑回归估计高差异分布之间的密度比

May, 2023

使用多项式逻辑回归估计高差异分布之间的密度比

Estimating the Density Ratio between Distributions with High Discrepancy using Multinomial Logistic Regression

Akash Srivastava, Seungwook Han, Kai Xu, Benjamin Rhodes, Michael U. Gutmann

TL;DR本文提出了一种基于多分类分类器的密度比率估计方法，解决了现有方法在概率分布分离 (即互信息小) 问题上的困难，同时在密度比率估计、互信息和表示学习等任务中表现出卓越性能。

Abstract

Functions of the ratio of the densities $p/q$ are widely used in machine learning to quantify the discrepancy between the two distributions $p$ and $q$. For high-dimensional distributions, binary classification-based density ratio estimators have shown great promise. However, when densities are well separated, estimating the density ratio with a binary class

density ratio estimator multi-class classification distribution shift mutual information estimation representation learning

发现论文，激发创造

密度比估计的二元损失

从有限数量的密度观测结果中估计两个概率密度的比率是机器学习和统计学中的一个核心问题。本研究从一类 Bregman 散度中的预设误差度量出发，表征了导致密度比率估计具有小误差的所有损失函数，并提供了一个简单的构建具有特定属性的损失函数的方法。

Jul, 2024

望远镜密度比估计

提出了一种新的框架：Telescoping Density-Ratio Estimation (TRE)，可估算高维空间中高度不同密度之间的密度比，并在互信息估算，表示学习和基于能量的建模方面取得了显着的改进。

Jun, 2020

高维密度比估计及其拓展在近似似然计算中的应用

提出了一种基于核算子特征函数的密度比估计器，避免了显式降维步骤，可以更好地反映数据的几何结构，同时可扩展应用于极端高维下的似然函数估计问题。

Apr, 2014

在 RKHS 中的密度比自适应学习

通过分析一类正则化 Bregman 散度的密度比率估计方法，我们得出新的有限样本误差界，并提出一种 Lepskii 类的参数选择原则，在不知道密度比率的规则性的情况下最小化误差界。在二次损失的特殊情况下，我们的方法能够自适应地达到极小极大误差率。

Jul, 2023

用于稳健分布比较的相对密度比估计

本文提出了一种基于相对散度的密度比较方法，它可以更好地处理密度比例函数中的高峰和波动，具有良好的非参数收敛速度和模型复杂度，通过实验证明了该方法的有效性。

Jun, 2011

基于密度比估计及半监督学习的贝叶斯优化

本研究提出了利用半监督学习结合基于密度比估计的贝叶斯优化方法，解决在全局解候选人方面监督分类器过于自信的问题。针对 unlabeled point sampling 和 fixed-size pool 场景，对我们的方法和几种基线方法进行了实验结果展示。

May, 2023

通过最小化 Pearson 散度实现在线非参数似然比估计

在线非参数似然比估计方法中利用核方法和函数最小化的新框架，对概率密度函数以及独立同分布观测样本进行了理论性和实证验证。

Nov, 2023

训练神经网络进行似然 / 密度比估计

本文介绍了一种基于神经网络和优化方法的似然比函数估计的方法，可用于工程和统计领域中的检测和假设检验问题。

Nov, 2019

对密度比率估计鲁棒的协变量偏移适应

在这篇研究论文中，我们介绍了一种通过重要性加权的协变量偏移适应方法的双重健壮估计器，该估计器结合了回归函数的额外估计器，减少了密度比估计误差引起的偏差，并通过模拟研究证实了该方法的稳健性。

Oct, 2023

使用经过校准的判别性分类器来逼近似然比

本文提出了一种基于机器学习和降维的新方法，用于进行无似然推断，不需要事先了解模型参数的先验分布。

Jun, 2015