empirical risk minimization | BriefGPT

关键词empirical risk minimization

搜索结果 - 166

关于半敏感特征的凸优化
在半敏感 DP 设置下，我们研究了差分隐私（DP）经验风险最小化（ERM）问题，其中只有部分特征是敏感的。我们对 DP-ERM 的超额风险给出了改进的上界和下界。具体来说，在敏感域的规模方面，我们的错误只在对数多项式尺度上缩放，这比以前的结
PDF7 days ago
有效的 PAC 学习与回应是 "是" 或者 "否" 的 Oracle 可能吗？
在本文中，我们探讨了在二分类的 PAC 学习中，是否有比经验风险最小化（ERM）更弱的预测力量仍然能够实现学习，结果表明只需多项式代价就可以使用我们的更弱预测力量来学习概念类，同时也满足了 Alon 等人提出的对于有效性学习的算法原则的要求
PDF17 days ago
ICML重新思考引导信息以利用无标签样本：一个标签编码的视角
Unlabeled samples are utilized through label encodings to ensure both prediction discriminability and diversity in Empir
PDFa month ago
单轨迹形式预测
我们通过对未知随机动力系统的单个时间相关数据轨迹进行风险控制预测集（RCPS）性能的研究，使用封锁技术展示了数据遵循渐进稳定性和收缩性动态时，RCPS 获得类似于独立同分布情况下的性能保证；接着，我们使用解耦技术来描述 RCPS 性能保证在
PDFa month ago
提升虚假相关下的群体鲁棒性需要更精准的群体推理
通过准确推断群体标签，以改善最差群体性能，我们提出了一种新方法 GIC，它通过基于两个关键属性的虚假相关性对其进行分类器训练，多个数据集上的实证研究证明了 GIC 推断群体标签的有效性，并将其与多种下游不变性学习方法结合，提高了最差群体准确
PDF2 months ago
深度学习中的双下降现象理解
将经验风险最小化与容量控制结合是机器学习中控制泛化差距和避免过拟合的经典策略。然而，在现代深度学习实践中，非常庞大的超参数化模型（例如神经网络）被优化以完美拟合训练数据，并且仍然具有出色的泛化性能。在插值点之后，增加模型复杂性似乎实际上降低
PDF4 months ago
三者中的大多数：最简单的最优学习者？
研究理论以确定最简单的算法，通过选取数据的子集经验风险最小化（ERM）训练而返回多个 ERM 分类器的多数投票，实现高概率区间的最优算法。
PDF4 months ago
少数群体比例促进对泛化的影响：一层隐藏层神经网络在群体不平衡情况下的理论研究
组不平衡在实证风险最小化（ERM）中是一个已知的问题，这篇论文通过高斯混合模型定量分析个体组对样本复杂度、收敛速度以及测试性能的影响，提供了 ERM 组级泛化的首个理论分析，并验证了理论结果在合成和实际数据集上的有效性。
PDF4 months ago
分解与组合：缓解假相关性的一种组合方法
通过将图像的组成元素进行组合，基于经验风险最小化 (Empirical Risk Minimization, ERM) 的训练方法在处理分布偏移时提高了模型的鲁棒性，解决了图像分类中的接近问题和图像成分之间的虚假相关性，提出了一种新的组平衡
PDF4 months ago
差分隐私最坏组风险最小化
通过差分隐私等方法研究最差组风险最小化，提出了优化算法，分析了广义误差的稳定性和泛化误差，探讨了在线和离线两种情境下的最差组风险最小化。
PDF4 months ago
从逆优化到可行性到 ERS
逆优化是从已知的解中推断优化问题的未知参数，并广泛应用于交通运输、电力系统和医疗保健等领域。本研究探讨利用上下文信息进行逆优化的设置，以更好地预测未知的问题参数。我们集中研究上下文逆线性规划（CILP）的问题，解决了 LP 非可微性所带来的
PDF4 months ago
关于平滑数据的经验风险最小化性能
经验风险最小化算法（ERM）在已知数据集且平滑的情况下，能够实现次线性误差，并且具有统计复杂性的概念。
PDF4 months ago
不同标签函数的协同学习
研究一种协作 PAC 学习的变体，旨在学习每个数据分布的准确分类器，同时最小化从这些数据分布中所抽取的样本数总量。给出基于经验风险最小化算法的学习方法，并且分析依赖于增强的假设类的 VC 维度的上界。在计算效率方面，证明了在一般情况下，基于
PDF5 months ago
使用真实数据和替代数据进行学习的规模定律
整合替代数据对模型训练的测试误差有显著减少作用，所需使用经验风险最小化进行加权至关重要，模型训练中真实与替代数据混合的测试误差可通过标度律预测最优加权及替代数据的利益。
PDF5 months ago
经验风险最小化与 f - 散度家族中的正则化的等价性
给定函数 $f$ 的分裂散度正则化 (Empirical Risk Minimization with $f$-Divergence Regularization) 的解决方案，该解决方案在 $f$ 的条件适当的情况下，得到最优测度是唯一的
PDF5 months ago
理解领域泛化：噪声稳健性视角
机器学习算法中的领域泛化与经验风险最小化的效果在标准基准测试中没有明确的经验证据，但是通过标签噪声的研究可知，领域泛化算法在有限样本训练中具有隐含的标签噪声鲁棒性，在合成实验中可以缓解虚假相关性并提高泛化性能，但在真实世界的基准数据集上的综
PDF5 months ago
应用于强化学习的纠正误指的回归中减轻协变量变化
在机器学习应用中普遍存在分布偏移现象，本文研究在模型错误规定和对抗性协变量偏移存在的情况下的分布偏移影响，提出一种新的算法，通过鲁棒优化技术避免了错误规定放大，同时获得最佳的统计指标，应用于离线和在线强化学习。
PDF5 months ago
宽深 ReLU 神经网络的普适一致性及 Kolmogorov-Donoho 最优函数类的极小最优收敛速率
通过广泛且深度的 ReLU 神经网络在逻辑损失上进行训练，我们扩展 FL93 的结果并证明了其分类规则的普遍一致性；此外，我们给出了一类概率测度的充分条件，使得基于神经网络的分类器实现最小极小收敛速度。
PDF6 months ago
正样本未标记数据的单一样本对照抽样方法与病例对照抽样方法的比较：两种情景的故事
本文研究了基于经验风险最小化（ERM）的分类器在针对阳性无标签数据的情况下可能在单样本场景下显著退化的问题，并引入了针对单样本情况的非负风险分类器，比较了其性能与原始提案的差异。研究发现，在标记了一半或更多阳性观察值的情况下，它们之间存在显
PDF7 months ago
Wild-Tab：表格回归的超出分布泛化性能基准
通过 Wild-Tab，一个面向表格回归任务的大规模基准测试集，我们在实际环境中评估了 10 种不同的 out-of-distribution generalization 方法，发现 Empirical Risk Minimization
PDF7 months ago