Jun, 2024

学习中的分布偏移的高效差异性测试

PDF
TL;DR提供了可靠与高效的算法来测试本地化的差异距离，进一步扩展了 TDS 学习模型并改进了之前相关的工作，同时提供了针对常数深度电路的指数级改进，与低维凸集的首个正面结果。
domain adaptationdiscrepancy distanceefficient learning algorithmstestable learning with distribution shifttds learning
发现论文，激发创造
  • 具有分布转变的可测试学习

    在学习分布转移的基本问题中，我们提出了一个新模型，称为可测试学习，可以通过一个相关的测试来得到分类器在测试分布上的性能证明，并证明了对于一些常见概念类别如半空间、半空间的交、决策树等，以及具有低次 $L_2$- 夹逼多项式逼近器的任何函数类别都可以在这个模型下学习。

    Nov, 2023

  • 处理任意协变量偏移学习的容错算法

    研究在任意分布转移下的学习问题，重点关注 PQ 学习、TDS 学习两个框架以及谱异常移除技术对多项式回归及容忍可测试学习的影响。

    Jun, 2024

  • (几乎) 通过分歧差异证明分布偏移下的误差界

    本研究通过使用无标签测试数据来推导深度神经网络在分布转移下的误差（几乎）保证上界，并提出了一种理论上合理、在实践中表现更优的 “不一致损失” 用于评估误差保证上界的较紧估计。

    Jun, 2023

  • 领域自适应：学习界限和算法

    本文介绍了一种针对域自适应问题的新型分布距离度量 —— 偏差距离，并给出了不同损失函数的估计方法以及普遍推广界限。同时，本文也探讨了偏差距离减少和多种损失函数的最小化算法，并验证了其在不同应用场景的有效性。

    Feb, 2009

  • 超越差异：对分布偏移理论的深入研究

    在分布转移理论中，通过采用不变风险最小化（IRM）类似的假设连接分布，研究源分布到目标分布的分类器，揭示了源分布数据足够准确分类目标的条件，并讨论了在这些条件不满足时，只需目标的无标签数据或标记目标数据的情况，并提供了严格的理论保证。

    May, 2024

  • 学习带有分布偏移的半空间交集：改进算法和 SQ 下界

    针对高斯训练分布的交叉半空间集的可测试学习，证明了一种新的上界算法，能在多项式时间内实现 TDS 学习，且达到精确度 e，扩展了 TDS 学习工具库。

    Apr, 2024

  • 用于外部分布预测的分布偏移反演模型

    该论文探讨了如何绕过测试分布的要求以训练分布转换器，并在多领域和单一领域的广义数据集上进行了实验。他们提出了一种便携式的分布漂移反演算法，通过线性组合附加高斯噪声并使用仅在源分布上进行训练的扩散模型将 OoD 测试样本转移到训练分布中。

    Jun, 2023

  • 针对测试时攻击与分布偏移的可靠学习

    本文讨论机器学习算法在环境未完全准确的情况下的应用，尤其是面对对抗攻击和分布变化的情况下，引入新的鲁棒性可靠性保证，并提供优秀的学习方案，分析了可靠性区域，同时分别分析了近似对数凹分布和平滑概率分布下的线性分类器和光滑边界分类器的可靠性区域中可靠性区域的概率质量上界。

    Apr, 2023

  • 量化分布漂移和不确定性，提升机器学习应用的模型鲁棒性

    使用合成数据和统计度量来评估分布变化和模型不确定性，为实现机器学习应用在现实世界中的成功部署提供了重要方法和见解。

    May, 2024

  • 漂移分布学习的新分析和算法

    利用差异的理念，我们对批处理情景下学习漂移分布的问题进行了新的分析，并证明了基于假设集和分布的差异的 Rademacher 复杂度的学习界限，包括漂移 PAC 情景和跟踪情景。 我们提出了一种新算法，利用这些学习保证，我们展示了该算法可以被表述为一个简单的 QP。

    May, 2012