Jun, 2024

分布鲁棒的安全样本筛选

PDF
TL;DR本研究提出了一种名为分布鲁棒安全样本筛选（DRSSS）的机器学习方法，旨在识别不必要的训练样本，即使训练样本的分布在未来发生变化。通过将分布鲁棒（DR）范式与安全样本筛选（SSS）有效地结合起来，我们实现了此目标。我们通过扩展现有的 SSS 技术来适应权重不确定性，使得 DRSSS 方法能够可靠地在指定范围内的任何未来分布下识别不必要的样本。我们为 DRSSS 方法提供了理论保证，并通过对合成和真实世界数据集的数值实验验证了其性能。
machine learningsample screeningdistributionally robustcovariate shiftperformance validation
发现论文，激发创造
  • 分布鲁棒安全筛选

    我们提出了一种名为分布鲁棒安全筛选（DRSS）的方法，用于在 DR 协变量转变设置中识别不必要的样本和特征。该方法有效地将 DR 学习与安全筛选相结合，对模型训练之前的无关样本和特征进行了稀疏优化，实现了在特定范围内可靠地识别任何未来分布的不必要样本和特征。我们提供了 DRSS 方法的理论保证，并通过在合成和现实世界数据集上进行数值实验证实了其性能。

    Apr, 2024

  • 分布鲁棒监督学习是否能提供稳健的分类器？

    本文介绍了分布鲁棒监督学习（DRSL）的概念和其与 f - 散度的关系，DRSL 可以最小化对抗重加权训练损失来明确考虑最坏情况的分布移位，并在分类情景下进行了分析。研究发现 DRSL 恰好可以匹配给定的训练分布，提出了简单的 DRSL 以克服这种悲观主义，并且经验性地证明了其有效性。

    Nov, 2016

  • DSS：一种用于保留分类增量学习中知识的多样样本选择方法

    DSS 是一种新的技术，用于从数据流中选择样本来减轻增量学习中的灾难性遗忘，该方法在分离和模糊任务边界情景下比现有方法表现更好，而且更易理解和实现。

    Dec, 2023

  • [Re] 双采样随机平滑

    该论文提出了一种名为 “Double Sampling Randomized Smoothing (DSRS)” 框架的方法来提高神经网络的抗干扰性认证，并通过实验验证了其效果。

    Jun, 2023

  • 双采样随机平滑

    提出了一种基于双重采样的随机平滑框架 (DSRS) 来提高神经网络模型的鲁棒性，并证明了其可以克服高维度数据集下现有随机平滑算法的 “维数诅咒”，实验表明 DSRS 可以在不同情况下比现有基准证明更大的鲁棒半径。

    Jun, 2022

  • 基于学习的主动配电系统中分布鲁棒的安全过滤器

    通过使用分布式稳健安全过滤器，可以显著减少分布式系统训练期间深度强化学习代理与真实世界活动分发系统相互作用时的操作约束违规，同时保持接近最优解。

    Jul, 2023

  • 检测和应对分布偏移下的伪特征

    本文主要探讨机器学习中机器如何学习到能够捕捉输入特征与输出标签之间因果关系的鲁棒性表征，以及在有偏或有限数据集上可能存在的虚假相关性。提出了一种基于最小充分统计量的鲁棒表征和虚假表征的信息理论概念，并基于分组分布式鲁棒优化方法来缓解输入分布偏移的问题，同时通过实验展示该方法在图像和语言任务中具有显著的鲁棒性优势。

    Jun, 2021

  • 软随机采样：理论和实证分析

    软随机抽样（SRS）是一种简单而有效的方法，用于处理海量数据时高效训练大规模深度神经网络。本论文对 SRS 进行理论和实证分析，包括抽样动态、收敛性和泛化性能，以及在图像识别和自动语音识别等任务中的实证评估。相比现有的数据选择方法，SRS 在准确性和效率之间提供了更好的折衷，并在实际工业规模数据集上表现出显著加速和竞争性能，几乎不增加额外的计算成本。

    Nov, 2023

  • 统计鲁棒神经网络分类

    为了解决在某些场景下对抗风险无法提供适当的强健度度量的问题，我们开发了一个概率强健风险框架（SRR），它考虑到逐点损坏分布而不是最坏情况下的对手。我们展示了 SRR 的评估和训练方案与自然风险相当简单且高效，能提供优秀的泛化性能，适用于高维数据集。

    Dec, 2019

  • 随机风险厌恶学习的自适应采样

    在机器学习应用中，我们提出了一种风险规避的训练模型的方法，它通过优化在最难的样本上的表现来提高模型的稳定性和可预测性，关键是利用分布式随机优化算法和结构化行列式点过程进行大规模的学习任务。

    Oct, 2019