Nov, 2023

分布重新加权和选举悖论

PDF
TL;DR我们探讨了一种特定类型的分布偏移，称为领域专门知识，其中训练仅限于所有可能标签的子集。我们展示了标准的分布偏移方法如何在不同领域专门知识之间引发矛盾的争议，并证明了因果推断的标准调整也会导致同样的矛盾。我们证明了这些悖论的特征与选民偏好集之间产生的另一组悖论完全相似。
distribution shiftdomain expertisetrainingparadoxical disagreementscausal inference
发现论文，激发创造
  • 学习加权表示以实现跨设计通用化

    提出了一个基于表示学习和样本重加权的误差界，针对因果推断和无监督域自适应问题，在设计转换下减少泛化误差的算法框架，与以往方法相比具有更好的效果并具有渐近一致性。

    Feb, 2018

  • 利用风险外推 (REx) 实现对于分布外数据的泛化

    采用风险外推法的鲁棒优化可以在训练域和测试域之间进行平衡，从而提高模型对于分布漂移的抵抗能力，并且可以恢复目标的因果机制，同时还能提供对于输入分布变化具有一定鲁棒性的能力。

    Mar, 2020

  • 图学习在分布偏移下的研究：领域自适应、离域和连续学习的综合调查

    综述研究了图学习中的分布转变问题及解决方法，将现有的图学习方法分为图领域适应学习、图越域学习和图持续学习三种关键场景，详细讨论了这些场景下的现有进展，并对该领域进行了潜在应用和未来研究方向的分析。

    Feb, 2024

  • 公正中心技术简报：分布偏移的定义和检测

    在机器学习任务中，分布偏移是一种常见情况，其表示训练模型使用的数据与实际应用模型的数据不同。本文旨在定义和检测教育环境中的分布偏移，关注标准预测问题，即学习一个以输入序列为输入（预测变量）X=(x_1,x_2,...,x_m) 并生成输出 Y=f (X) 的模型。

    May, 2024

  • 一种信息理论方法应对分布转换

    从信息理论的角度，本文探讨了机器学习模型在实际应用中遭遇的数据偏移问题，比较了近期领域泛化与公正分类研究中一些最有前途的目标。根据我们的理论分析和实证评估，我们得出结论，模型选择过程需要根据观察到的数据、纠正因素和数据生成过程的结构进行认真考虑的指导。

    Jun, 2021

  • 通过域不变表示估计分布转移下的泛化能力

    本篇论文研究机器学习模型在不同测试分布的情况下表现不佳且过度估计它们的表现的问题，并提出一种基于领域不变性预测模型的方法来更好地估计模型在转移学习领域的性能，从而实现了领域自适应和对给定模型在分布转移情况下进行准确的目标误差估计，并可以用于模型选择、决定早期停机和错误检测。

    Jul, 2020

  • 深度稳健学习 - 针对外部分布泛化

    本文主要研究基于深度神经网络的方法在训练数据与测试数据分布不一致时的性能问题，并通过学习训练样本的权重以消除特征之间的依赖关系，从而提高深度模型的性能。通过在多个分布泛化基准测试上的实验，与同类研究相比，我们的方法取得了很好的效果。

    Apr, 2021

  • 超越差异：对分布偏移理论的深入研究

    在分布转移理论中，通过采用不变风险最小化（IRM）类似的假设连接分布，研究源分布到目标分布的分类器，揭示了源分布数据足够准确分类目标的条件，并讨论了在这些条件不满足时，只需目标的无标签数据或标记目标数据的情况，并提供了严格的理论保证。

    May, 2024

  • 分布转移下的监督算法公平性：一项综述

    监督的公平感知机器学习在面临数据分布从源领域到目标领域的变化时，是一个新兴的领域，解决了在实现公正和无偏预测方面的挑战。本综述提供各种类型的分布变化的总结，并全面调查了现有方法，重点介绍了文献中常用的六种方法。此外，本综述列出了可用于经验研究的公开数据集和评估指标。我们进一步探讨了与相关研究领域的相互连接，讨论了重大挑战，并确定了未来研究的潜在方向。

    Feb, 2024

  • 通过扰动化基于变异的标签传递进行多数投票域适应

    通过扩展 MinCq 算法，利用扰动方差，提出了一种针对 PAC-Bayesian Domain Adaptation 问题的解决方案，包括利用 PV 自标记目标样本并调整超参数，通过在目标和源概率分布相似的区域进行自标记并控制不同分类器之间的选票不一致性。在 toy 问题上获得了很好的结果。

    Nov, 2013