关于一种广义的KMM类型优化方法的密度比估计的一些注记
本文旨在解决BD最小化在高度灵活模型(例如深度神经网络)方面常常出现的过拟合问题。作者提出了一种经验BD估算器的非负校正方法,并在实验中证明了该方法的有效性及其在基于异常点检测的“内点”类问题上的表现。
Jun, 2020
该论文提出了一种基于DRE-∞的、通过蒙特卡罗方法的数值计算技术,从而能够更准确地估算高维度数据中的概率分布之间的密度比率,并为复杂的高维数据集上的任务(如相互信息估计和能量建模)提供了更好的性能。
Nov, 2021
本文提出了一种基于多分类分类器的密度比率估计方法,解决了现有方法在概率分布分离(即互信息小)问题上的困难,同时在密度比率估计、互信息和表示学习等任务中表现出卓越性能。
May, 2023
本研究提出了利用半监督学习结合基于密度比估计的贝叶斯优化方法,解决在全局解候选人方面监督分类器过于自信的问题。针对 unlabeled point sampling 和 fixed-size pool 场景,对我们的方法和几种基线方法进行了实验结果展示。
May, 2023
通过分析一类正则化 Bregman 散度的密度比率估计方法,我们得出新的有限样本误差界,并提出一种 Lepskii 类的参数选择原则,在不知道密度比率的规则性的情况下最小化误差界。在二次损失的特殊情况下,我们的方法能够自适应地达到极小极大误差率。
Jul, 2023
多维变分法引用工具,为减小标准核密度估计的偏差而推导出最优权重函数,从而改善预测后验概率和信息论度量的估计结果,并揭示了核密度估计的一些基本方面,尤其是作为主要构建模块的算法的视角。
Nov, 2023
最近,神经网络在机器学习中的基础技术密度比估计(DRE)中取得了最先进的结果。然而,现有方法由于DRE的损失函数引起了优化问题:KL散度具有大样本要求,训练损失梯度消失,以及损失函数的偏向梯度。因此,本文提出了一种提供简洁实现和稳定优化的α-散度损失函数(α-Div)。此外,还提出了对所提出的损失函数的技术验证。通过实验证明了所提出的损失函数的稳定性,并研究了DRE任务的估计精度。此外,本研究提出了使用所提出的损失函数进行DRE的样本要求,以$L_1$误差的上界将高维DRE任务视为常见问题的复杂度。
Feb, 2024
从有限数量的密度观测结果中估计两个概率密度的比率是机器学习和统计学中的一个核心问题。本研究从一类Bregman散度中的预设误差度量出发,表征了导致密度比率估计具有小误差的所有损失函数,并提供了一个简单的构建具有特定属性的损失函数的方法。
Jul, 2024