Nov, 2015

利用信息控制偏差：数据探索过拟合的程度如何？

PDF
TL;DR提出了一种基于信息使用的方法来量化和限制任意探索性分析的偏差和其他误差指标，在此基础上分析和评估了过滤、排名选择和聚类等特定探索性分析方式的偏差。同时，该方法引出了随机化技术，可以证明减少了探索偏差同时保留了数据分析效用，从而帮助解决科学中的可重复性危机。
exploratory analysisbiasinformation usagerandomization techniquesdata analysis
发现论文，激发创造
  • 自适应数据分析中维护统计学有效性

    关于如何在自适应数据分析中保证统计推断的有效性的研究，使用隐私保护技术协调估计值，并在估计指数数量的期望时取得了指数级的改进，适用于多重假设检验和虚假发现率控制。

    Nov, 2014

  • 一般测量的依赖性度量约束探索偏差

    提出了一种分析和量化自适应数据分析中偏差的方法，引入了一种新的依赖度量，同时保留了互信息的关键性质，并更有效地量化了具有重尾分布的探索偏差。

    Dec, 2016

  • 自适应数据分析与留存重用中的泛化

    本文针对过拟合问题，提出了一种适用于自适应数据分析的算法，使用保留集重复验证后得到的假设，避免了过度拟合问题，同时利用描述长度和差分隐私，展示了在适应性场景下保证统计有效性的方法，并通过近似最大信息的方法将这些方法统一起来。

    Jun, 2015

  • 信息提取是否存在一种适用于所有模型的方法？重新审视任务定义偏见

    信息提取中的定义偏见是一种负面现象，可能会误导模型。为了系统地调查和解决信息提取中的定义偏见，我们提出了一个多阶段框架，包括定义偏见测量、偏见感知微调和任务特定的偏见缓解。实验证明了我们框架在解决定义偏见方面的有效性。

    Mar, 2024

  • 数据偏差管理

    本篇论文探讨了数据偏见对最终用户的影响、偏见的来源以及如何处理数据偏见的问题。提出了‘bias management’的概念，强调应该从识别、测量、索引、面向和调整偏见的角度入手，而不是在所有情况下都要消除数据偏见。

    May, 2023

  • 不断增长数据的自适应数据分析

    数据重复使用中存在过拟合和统计结果的有效性方面的挑战。过去的研究表明，通过不同 ially private 算法与数据交互可以减轻过拟合，实现最坏情况下的泛化保证，并具有渐近最佳的数据要求。然而，之前的工作假设数据是静态的，无法适应数据随时间增长的情况。本文填补了这一空白，提出了自适应分析在动态数据环境中的第一个泛化界限。我们允许分析人员根据当前数据大小以及先前的查询和响应进行自适应调度。我们还结合了时间变化的经验准确性界限和机制，使数据积累时能够提供更紧密的保证。在批量查询设置中，我们的界限的渐近数据要求随自适应查询数量的平方根增长，与之前的工作改善静态设置中的数据分割相匹配。我们通过采用裁剪高斯机制实例化我们的界限，并在经验上优于由静态界限组成的基线。

    May, 2024

  • 提高可操作数据的信息

    本文研究了基于数据的决策中出现的操纵问题，提出了减少数据使用来减轻信息损失并提高分配精度的方法。

    Aug, 2019

  • 交互式数据探索中控制虚假发现

    本文提出了一种名为 Aware 系统的解决方案，能够将多重假设检验控制集成到交互式数据探索工具中，通过实验证明 Aware 系统能够帮助专家和初学者高效地控制假发现率。

    Dec, 2016

  • 控制偏见暴露以实现公平和可解释的预测

    本文提出了一种公平去偏算法，通过调整预测模型的信念，尽可能使用敏感信息来进行预测，并在必要性最小化的同时承受一定的惩罚，以达到去偏和任务性能之间的理想平衡，并生成经过去偏的证明。

    Oct, 2022

  • 信息熵探测的贝叶斯框架

    该论文提出了一种名为贝叶斯互信息的新框架，它从贝叶斯代理的角度分析信息，使得在有限数据情况下处理可以帮助增加信息的同时也有可能削减信息，更加符合机器学习应用的直觉，最终将该框架运用到探针任务中，通过限制可用背景知识来实现抽取的易于性。

    Sep, 2021