Jun, 2023

具有漂移数据的弱监督自适应方法

PDF
TL;DR提出了一种自适应方法，在非稳态环境下提供正式质量保证的弱监督学习，通过使用提供每个数据点的正确分类的独立嘈杂信号的弱监督学习源来推断一系列数据的未知标签，并针对准确性可能随时间漂移的非稳态情况进行了重点研究，该算法不需要先验假设并且基于输入进行自适应调整。该算法保证了在过去观察窗口内，最小化估计误差方差和漂移误差的平衡下，弱监督源的当前准确性。实验表明，与固定窗口大小策略不同，该方法可动态选择窗口大小，以保持良好性能。
发现论文，激发创造
  • 一个基于漂移检测的在线、自适应和无监督回归框架，适用于标签稀缺环境

    在实时标签获取困难的场景中，本文提出了一种适用于有限标记数据的流式环境的最优策略，引入了一种自适应的无监督回归技术。该方法利用一组稀疏的初始标签，并引入创新的漂移检测机制，以响应数据中不断变化的模式实现动态模型调整。通过将 ADWIN 算法与基于 RMSE 的误差广义化相结合，我们提高了适应性。ADWIN 实现了实时漂移检测，而 RMSE 提供了对模型预测准确性的稳健度量。该组合使得我们的多变量方法能够有效地应对流式数据的挑战，在保持高水平的预测准确性的同时不断适应变化的模式。最后，我们对各种公共数据集评估了我们的多变量方法的性能，并将其与非适应性基线进行比较。通过综合评估，我们证明了我们的自适应回归技术在实时标签获取具有挑战性的任务中的出色效果。结果突显了该方法超越传统方法的能力，并凸显了在标签稀缺和数据模式不断变化的情境中的潜力。

    Dec, 2023

  • 学习漂移离散分布的改进算法

    我们提出了一种适用于在分布漂移下学习离散分布的新的自适应算法。

    Mar, 2024

  • 端到端弱监督

    通过聚合多个弱监督数据源，本研究提出一种直接使用神经网络重参数化概率先验标签，从而直接学习下游模型的端到端方法，取得了端模型性能和弱监督数据依赖性方面的改进。

    Jul, 2021

  • 一种适应未知分布漂移学习的算法

    我们开发和分析了一种普适技术，可以在未知分布漂移的情况下进行学习。给定一个来自漂移分布的最后 $T$ 步的独立观测序列，我们的算法在时刻 $T$ 对当前分布进行从容学习。与先前的工作不同，我们的技术不需要关于漂移幅度的先验知识，而是根据样本数据进行算法调整。我们的算法学习了一类函数，其误差几乎与预先了解漂移幅度的学习算法相同。此外，由于我们的算法适应数据，它可以保证比依赖漂移松限制的算法具有更好的学习误差。

    May, 2023

  • 平稳概念漂移下基于非平稳批量数据的模型适应和无监督学习

    本文提出了一种迭代式无监督自适应预测模型算法，用于解决由于数据来源非平稳性导致的渐进性概念漂移问题，并在合成数据和真实数据上做了大量数值评估。

    Feb, 2020

  • 弱监督学习的约束标注

    本文提出了一种基于约束空间的弱监督学习方法，将不同的弱监督信号结合起来进行训练，在文本分类和图像分类任务中优于其他方法。

    Sep, 2020

  • 未知时态漂移下的无分布预测推理

    本文提出了一种选择自适应窗口并利用其中的数据构建预测集的策略，通过优化估计的偏差 - 方差平衡来选择窗口，并为该方法提供了明确的覆盖保证，展示了其对潜在时间漂移的适应性。通过对合成和实际数据进行数值实验，验证了其有效性。

    Jun, 2024

  • AutoWS: 文本分类自动化弱监督框架

    提出了 AutoWS 框架用于增加弱监督过程的效率，减少对领域专家的依赖性，使用少量标记的实例和自动创建标注函数的方法来指定嘈杂标签，然后通过一个下游歧别分类器将其聚合成概率标签。

    Feb, 2023

  • 非平稳环境下分类问题的自适应迁移学习视角

    我们研究了一个具有非平稳标签转移的半监督分类问题，通过观察一组有标签的数据集和一系列无标签的协变量向量，我们的目标是预测每个协变量向量的相应类别标签，而无需观察除初始有标签数据集之外的真实标签。通过建立一个在任何给定测试时间内自适应地适应未知动态边缘标签概率的高概率遗憾上界，我们探索了一种基于统计方法的自适应迁移学习的替代方法，并给出了与在线学习方法相匹配的平均动态遗憾界限的界限。

    May, 2024

  • 通用弱监督

    该研究提出了一种通用的技术，以实现对任何标签类型的弱监督，同时仍提供实用灵活性、计算效率和理论保证，并应用于以往没有使用弱监督框架解决的重要问题，包括排序学习、回归和超似曲空间中的学习。

    Dec, 2021