Jun, 2015

自适应数据分析与留存重用中的泛化

PDF
TL;DR本文针对过拟合问题，提出了一种适用于自适应数据分析的算法，使用保留集重复验证后得到的假设，避免了过度拟合问题，同时利用描述长度和差分隐私，展示了在适应性场景下保证统计有效性的方法，并通过近似最大信息的方法将这些方法统一起来。
overfittingadaptive data analysisholdout setvalidation algorithmapproximate max-information
发现论文，激发创造
  • 具有贝叶斯差分隐私的自适应统计学习

    通过使用贝叶斯差分隐私技术，本研究表明，对于存在不相关性和相关性的数据样本，通过扰动和协调估计值可在自适应统计学习中重复使用保留数据集。

    Nov, 2019

  • 不断增长数据的自适应数据分析

    数据重复使用中存在过拟合和统计结果的有效性方面的挑战。过去的研究表明，通过不同 ially private 算法与数据交互可以减轻过拟合，实现最坏情况下的泛化保证，并具有渐近最佳的数据要求。然而，之前的工作假设数据是静态的，无法适应数据随时间增长的情况。本文填补了这一空白，提出了自适应分析在动态数据环境中的第一个泛化界限。我们允许分析人员根据当前数据大小以及先前的查询和响应进行自适应调度。我们还结合了时间变化的经验准确性界限和机制，使数据积累时能够提供更紧密的保证。在批量查询设置中，我们的界限的渐近数据要求随自适应查询数量的平方根增长，与之前的工作改善静态设置中的数据分割相匹配。我们通过采用裁剪高斯机制实例化我们的界限，并在经验上优于由静态界限组成的基线。

    May, 2024

  • 自适应数据分析中维护统计学有效性

    关于如何在自适应数据分析中保证统计推断的有效性的研究，使用隐私保护技术协调估计值，并在估计指数数量的期望时取得了指数级的改进，适用于多重假设检验和虚假发现率控制。

    Nov, 2014

  • 基于稳定中位数的自适应估计器泛化

    本文主要介绍了一种基于近似中位数算法的算法来估算统计数据集的普适性，该算法满足差分隐私的强稳定性保证，解决了统计数据集在自适应问题上的泛化保证的新方法。

    Jun, 2017

  • 通过对抗性样本检测过拟合

    该研究提出了一种利用原始测试数据来检测过拟合的新方法，使用对抗性示例和重要性加权的无偏误差估计，尤其适用于多类图像分类模型在 ImageNet 基准测试上的过拟合检测。

    Mar, 2019

  • 过拟合检验

    机器学习中的过拟合问题及测试方法的研究。通过假设检验，使用训练数据进行模型评估和过拟合的定量定义和检测，同时注意到分布转移的标记和在缺乏统一 PAC 保证的情况下概括学习的另一种概念。

    May, 2023

  • 利用信息控制偏差：数据探索过拟合的程度如何？

    提出了一种基于信息使用的方法来量化和限制任意探索性分析的偏差和其他误差指标，在此基础上分析和评估了过滤、排名选择和聚类等特定探索性分析方式的偏差。同时，该方法引出了随机化技术，可以证明减少了探索偏差同时保留了数据分析效用，从而帮助解决科学中的可重复性危机。

    Nov, 2015

  • 稳健验证：即使分布发生偏移，也能自信地做出预测

    本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

    Aug, 2020

  • 模型相似性降低测试集过度使用

    本文证明了在大尺度图像分类基准测试中，最新的提出的模型虽然其准确性相异，但其预测相似性很高，这一相似性缓解了过拟合问题。作者还根据这一相似性给出了一种新的泛化界限的数学模型，能够更好地应用于机器学习中测试数据的重复使用问题。

    May, 2019

  • 机器学习中的越界泛化

    研究探讨了机器学习中的问题，特别是当模型在不同于训练数据的数据上进行测试时，模型很容易出现失败的现象，主要依靠发现数据的因果结构、找到可靠的特征并进行推广算法等方面展开探讨。

    Mar, 2021