Huber 损失函数的概率解释的另一种方法
通过广义分位数 Huber 损失函数从高斯分布之间的 Wasserstein 距离计算出噪声,本文提出了一种广义的分位数 Huber 损失函数,主要用于在分布性强化学习中估计回报分布。与经典分位数 Huber 损失相比,该创新损失函数增强了对异常值的鲁棒性,且经过实证测试验证了其在 Atari 游戏和最新对冲策略中应用于分布性强化学习的效果以及在参数调整中的潜力。
Jan, 2024
在分布式系统中,用户整体样本的隐私保护是很重要的。我们提出了基于 Huber loss 最小化的方法来进行用户级差分隐私下的均值估计,通过自适应调整 Huber loss 的连接点来处理不平衡的用户,避免了剪辑操作,大大减少了误差。通过理论分析和数值实验证实了我们的方法。
May, 2024
本篇论文提出了一种针对大数据中的尾部离群值和重尾分布等问题的自适应 Huber 回归方法,其中关键观察是,用于鲁棒性参数自适应的最优偏差和鲁棒性之间的权衡应该适应于样本大小,维度和矩。
Jun, 2017
该论文提出了一种新的解决半监督学习下 Huber loss 优化问题的方法,该算法结合了多视角学习和流形正则化技术,能够在数据驱动的背景下,避免迭代式的计算方案,积极平衡标签数据的使用,以达到处理多种应用场景下的高效低成本、鲁棒性强的性能。
Jun, 2016
本文提出了一种鲁棒性强的伪贝叶斯变分方法,它通过将适用于数据拟合的 Kullback-Leibler 距离替换为 beta - 和 gamma - 距离,从而实现对深度网络等复杂模型的处理,并在实验中表现出比普通变分推断更好的鲁棒性。
Oct, 2017
本文提出了一种基于 Huber 和 ε-insensitive loss 的可扩展框架,能够处理函数输出回归中的各种异常和稀疏情况,并在向量值复制核希尔伯特空间的背景下导出了计算上可行的算法。在合成和真实世界的基准测试上,论文的效率得到了展示并与传统的平方误差损失进行了对比。
Jun, 2022
本文从对抗鲁棒性的角度重新审视了两个经典的高维在线学习问题,即线性回归和情境地图,并探究了无需假设数据分布,直接从全局角度保证它们对抗鲁棒的可行性。具体方法是通过交替最小化策略将普通最小二乘法嵌入到简单的凸约束计算不完整数据下的最优加权分布,并证明该方法在污染程度方面具有最佳的可重复性和完整性。
Oct, 2020
我们研究了在协变量和响应函数都存在重尾污染的情况下,强鲁棒回归估计器的高维特性。尤其是,我们针对一族包括无二阶甚至更高阶矩不存在情况下的椭圆形协变量和噪声数据分布,提供了 M - 估计的锐性渐近特性描述。我们表明,尽管具有一致性,在存在重尾噪声的高维情形中,优化调整的 Huber 损失与位置参数 δ 是次优的,强调了需要进一步正则化以达到最佳性能的必要性。这个结果还揭示了 δ 作为样本复杂性和污染的函数的一个有趣的转变的存在。此外,我们导出了岭回归的超额风险的衰减速率。我们表明,对于有限二阶矩的噪声分布,岭回归虽然是最佳的且适用的,但当协变量的二阶矩不存在时,它的衰减速率可能会更快。最后,我们展示了我们的公式可以方便地推广到更丰富的模型和数据分布,如对混合模型的任意凸正则化训练的广义线性估计。
Sep, 2023
联邦学习系统易受到对抗攻击,本研究基于 Huber 损失最小化引入了一种新型聚合器,并进行了全面的理论分析,相比现有方法,我们的方法在独立同分布的假设下具有几个优势,包括对被攻击客户端比例(ε)具有最优依赖性,不需要对 ε 进行精确的了解,允许不同客户端具有不均等的数据规模,此外,我们还拓展了分析范围,包括非独立同分布的数据,即客户端拥有略有不同的分布。
Aug, 2023