最近，神经网络在机器学习中的基础技术密度比估计（DRE）中取得了最先进的结果。然而，现有方法由于 DRE 的损失函数引起了优化问题：KL 散度具有大样本要求，训练损失梯度消失，以及损失函数的偏向梯度。因此，本文提出了一种提供简洁实现和稳定优化的 α- 散度损失函数（α-Div）。此外，还提出了对所提出的损失函数的技术验证。通过实验证明了所提出的损失函数的稳定性，并研究了 DRE 任务的估计精度。此外，本研究提出了使用所提出的损失函数进行 DRE 的样本要求，以 $L_1$ 误差的上界将高维 DRE 任务视为常见问题的复杂度。

Feb, 2024

通过分析一类正则化 Bregman 散度的密度比率估计方法，我们得出新的有限样本误差界，并提出一种 Lepskii 类的参数选择原则，在不知道密度比率的规则性的情况下最小化误差界。在二次损失的特殊情况下，我们的方法能够自适应地达到极小极大误差率。

Jul, 2023

学习与拒绝是研究人类与人工智能在预测任务中相互作用的典型模型，其包含预测者和拒绝者两个组件。我们探讨了回归与拒绝问题，并研究了将该问题视为标准回归任务学习预测者的无拒绝学习策略。通过扩大预测者的函数类，我们发现无拒绝学习策略的次最优性可以得到缓解。在研究中，我们引入了截断损失来单独针对预测者进行学习，并展示了比联合学习更容易建立预测者的一致性替代性。我们的研究结果支持先使用所有数据来学习预测者，然后根据拒绝者的预测损失进行标定的两步学习过程。这更符合常识，即更多的数据样本将会获得更好的预测者，并需要更多的努力设计用于学习拒绝者的标定算法。虽然我们主要讨论了回归问题，但理论结果和观点同样适用于分类问题。

Jul, 2023

针对具有连续和无限目标空间的回归问题，提出了一种新颖的基于成本拒绝的回归模型，其可以通过考虑拒绝成本来拒绝对某些示例进行预测。该研究首先建立了该问题的期望风险模型，然后导出了贝叶斯最优解，表明当使用均方误差作为评估指标时，最优模型应拒绝对方差大于拒绝成本的示例进行预测。此外，提出使用考虑拒绝作为二分类的替代损失函数进行模型训练，并提供了模型一致性的条件，表明我们提出的替代损失函数可以恢复贝叶斯最优解。大量实验证明了我们提出方法的有效性。

Nov, 2023

从有限数量的密度观测结果中估计两个概率密度的比率是机器学习和统计学中的一个核心问题。本研究从一类 Bregman 散度中的预设误差度量出发，表征了导致密度比率估计具有小误差的所有损失函数，并提供了一个简单的构建具有特定属性的损失函数的方法。

Jul, 2024

本文研究了多类别分类问题中的拒绝机制，提出了同时训练分类器和拒绝器的方法，并探讨了针对更广泛损失函数的可接受标准，最终通过实验验证了理论发现的相关性。

Jan, 2019

在分布鲁棒学习中，我们引入了基于对抗性矩违规的新的极小极大目标，并展示了通过最小化该目标等效于最小化与真实条件期望的最坏情况下的 $l_2$ 距离，从而在计算成本上提供了大体量的经验性节省。

May, 2024

本文提出了一种基于相对散度的密度比较方法，它可以更好地处理密度比例函数中的高峰和波动，具有良好的非参数收敛速度和模型复杂度，通过实验证明了该方法的有效性。

Jun, 2011

本文提出了一个信息理论框架，用于评估在参数化贝叶斯设置下训练分类器所需的标记样本数量，并使用 $L_p$ 距离导出分类器和真实后验概率分类器之间的平均距离的上下界，并利用 $ L_p $ 丢失作为畸变度量，以后验分布的微分熵和插值维度的数量为最大先验分类器提供了下界和上界，这表征了参数分布族的复杂性，同时提供了计算贝叶斯 $L_p$ 风险的下界，是可能近似正确（PAC）框架的补充，该框架提供了涉及 Vapnik-Chervonenkis 维度或 Rademacher 复杂性的最小极大风险界，而所提出的速率 - 失真框架则为数据分布平均的风险提供了下界。

May, 2016

研究了适用于半监督学习中自训练方法的一系列经验风险函数和正则化方法，这些方法受到各种差异度量的启示。通过对差异度量理论基础的启发，即差异度量和 Rényi 差异度量，我们还提供了有益的见解，以增强对我们的经验风险函数和正则化技术的理解。在伪标签和熵最小化技术中，作为有效半监督学习的自训练方法，自训练过程存在真实标签和伪标签之间的不匹配（噪声伪标签），我们的一些经验风险函数在处理噪声伪标签方面表现出稳健性。在一些条件下，与传统的自训练方法相比，我们的经验风险函数表现出更好的性能。

May, 2024