- 通过 $h$-Lifted Kullback--Leibler Divergence 在紧致域上进行混合密度估计的风险界限
基于样本数据,我们考虑使用某个组件类的有限混合密度来估计概率密度函数的问题,并引入 H - 提升 Kullback-Leibler(KL)散度作为标准 KL 散度的一种泛化和进行风险最小化的准则。在紧支持假设下,我们证明了使用 H - 提升 - 印度股票的等权组合和最优风险组合的绩效评估
为了分配适当的权重给组成资产的优选投资组合,从历史股价数据中基于三种方法设计和评估投资组合,比较每个部门的投资组合收益以识别出业绩较高的投资组合。
- ECCV针对领域特定风险的最小化以实现超出分布的泛化
本文提出了基于领域特定风险最小化(DRM)的方法,旨在通过利用源域信息和适应性差的估计和最小化来弥合领域间差异以实现领域通用性,并在不同分布漂移设置下显着优于竞争基准。
- 单调性正则化:改进的惩罚及其在去耦合表示学习和强鲁棒分类中的新应用
通过使用梯度惩罚以及风险最小化,我们研究了满足不同单调性概念的预测器,介绍了一种方法来使用训练实例和随机点来扩展惩罚的范围,在不增加计算开销的同时,在图像分类和生成建模等领域实现了控制数据生成、检测异常数据和生成预测解释等的优势。
- ICLR处理图上的分布偏移:一个不变性的视角
本文提出了一种基于不变性学习和风险最小化的方法,实现图神经网络对于图结构数据上的越域通用性问题进行预测和预测不确定性的估计。
- 机器学习中的倾斜损失:理论和应用
本文研究借助指数调控风险函数的方式进行模型优化的问题,提出了倾斜经验风险最小化(TERM)框架及其优化方法,该方法可以灵活地调节损失的影响,减小异常值的影响或增加其公平性,同时具有降低方差和处理不均衡数据的能力,与 Value-at-Ris - 学习中基于决策相关分布的吸引区近似
通过研究表征分类器对基础数据分布的影响的具有宏观性质的 映射方法,进一步分析重复风险最小化的扰动轨迹,提出了性能对准的概念,从而提供了关于收敛性的几何条件。
- ICML异构风险最小化
提出了异质风险最小化 (HRM) 框架来实现数据的异质性联合学习和不变关系, 实现了稳定的预测,从而解决了许多不变学习方法无法应用的问题。
- 领域通用化中插值与外推的在线学习方法
本文在一个由风险最小化玩家和出题人提供新测试分布的在线游戏框架下,研究亚群体间的泛化。通过对子组概率似然性重赋权重的基础上,证明外推比内插计算复杂度高得多,而它们的统计复杂度没有明显差异。此外,我们表明 ERM 和含有噪声的变种对于两种任务 - 梯度下降遵循普通损失的正则化路径
本论文研究了机器学习中隐含的偏差及其对应的正则化解,并且根据理论证明我们使用的指数型损失函数的正则化效果,可达到最大保边缘的方向,相应的其他损失函数可能会导致收敛于边缘较差的方向。
- ICML执行式预测
文章探讨了预测可能影响其预测目标的可执行性预测,并提出了一种风险最小化框架,引入了统计学、博弈论和因果性的概念,并给出了最小化损失的稳定点的必要和充分条件。在全面性上,表现性预测严格包含战略分类设置,并给出了克服战略反馈效应的重新培训的首个 - 不变风险最小化博弈
该研究提出使用不变风险最小化方法找到多个环境之间的纳什均衡来训练模型,从而降低伪相关性对模型的影响。通过用最佳反应动态来解决这个问题,该方法使得模型在保证泛化的同时提高了训练的稳定性。该算法为博弈论机器学习算法的成功案例之一。
- 通过位移凸性分析两层神经网络
使用线性组合的神经元对凸紧致区域上的凹函数进行拟合,将所得的经验风险最小化问题收敛到概率分布空间中的 Wasserstein 渐进流(Wasserstein gradient flow),且在 bump 宽度趋近于 0 时,具有特殊的位移凸 - 不变性、因果性和鲁棒性
本论文讨论了概率不变性或稳定性的概念及其如何应用于因果推断与预测鲁棒性问题。同时提出了一种用于风险最小化问题的因果形式化方法,通过估计常常出现在数据收集中的异构性或扰动数据来确定这种不变性。此新方法在许多应用中具有潜在的实用价值,比标准回归 - 通过健壮的梯度估计实现健壮的估计
文章提出了一种新的,计算高效的风险极小化估计器类别,展示了它们在一般统计模型中的鲁棒性,特别地,在经典的 Huber epsilon 污染模型和重尾情况下。提出的核心是一种新型的鲁棒梯度下降算法,还给出了它在一般凸风险极小化问题中提供准确估 - AAAI深度神经网络中对标签噪声鲁棒的损失函数
本文介绍了一种寻找对标签噪声具有内在容忍性的损失函数的方法,并提供了一些在多类分类问题中让该损失函数在风险最小化时具有内在容忍标签噪声的充分条件,同时通过实验验证了基于平均误差值的损失函数是内在鲁棒的,并且标准反向传播足以学习出真正的分类器 - 动态时间预算的深度神经网络
本文提出了一种新的深度神经网络模型 ——Impatient Deep Neural Networks,因应动态时间预算且同时支持随时停顿多阶段推断,此方法可实现自适应计算及能源需求,提高实时应用性能,其重要特征为联合学习动态预算预测器。实验 - 基于方差的正则化与凸优化目标
通过使用分布鲁棒优化和 Owen 的经验似然的技术,我们开发了一种风险最小化和随机优化的方法,提供了一个凸代理来实现方差的降低,实现了近乎最优和计算效率之间的权衡,我们给出了一些有限样本和渐近结果来表征估计器的理论性能。
- 机器学习中的工程安全
本文探讨了机器学习算法越来越在日常生活中影响我们的决策和与我们互动,因此我们必须考虑涉及机器学习的系统的安全性,本文提出了四种不同的实现安全性的策略,并讨论了应用中可能存在的不完全符合现代统计机器学习基本原则的因素。
- 将风险最小化技术应用于标签噪声的容错性
本文研究了在训练数据中存在标签噪声的情况下,风险最小化的鲁棒性。我们探讨了一种损失函数对于噪声的容忍度,并证明了 0-1 损失、Sigmoid 损失、Ramp 损失和 Probit 损失满足该条件,其中选择足够大的参数可以使其对非均匀标签噪