Aug, 2021

通过对比插值一致性进行持续的半监督学习

PDF
TL;DR本文探讨了基于少量标注数据的持续半监督学习问题，并设计了一种利用度量学习和一致性正则化的新方法，仅依赖 25% 的监督数据即可优于全监督训练下的 SOTA 方法。
continual learningsemi-supervised learningdeep networksmetric learningconsistency regularization
发现论文，激发创造
  • 昨日之学：一种半监督的持续学习方法，用于受监督限制的文本到 SQL 任务流

    本文提出使用半监督学习和持续学习解决文本到 SQL 任务的过度拟合和过度训练的问题，并提出了两种解决方案：一是进行自训练和周期性记忆重放；二是利用过去信息和高质量伪造实例以改善未来回放。实验结果表明，该方法在多个指标上优于基线方法。

    Nov, 2022

  • 等变正则化在在线鲁棒持续学习中的有效性

    本研究提出了一种在线持续学习方法 CLER，通过等变性预处理任务进行自我监督，避免了 CSSL 技术的局限性，并与现有 OCL 方法轻松集成。重点探讨了等变性预处理任务对网络信息流的影响以及其对持续学习动态的影响。

    May, 2023

  • 基于插值的对比学习用于少标签半监督学习

    提出了一种基于插值方法的半监督学习算法来解决使用一些标签的数据集时一致性正则化方法的性能问题，并设计了一种新型对比损失来引导学习网络嵌入样本，实现更好的边界决策能力，通过实验证明，与现有算法相比，该算法可提高分类准确率 5.3% 以上。

    Feb, 2022

  • 在有限计算资源下学习来自稀疏标注数据流的连续学习

    我们提出并研究了一种现实的连续学习（CL）设置，其中学习算法在训练过程中具有每个时间步的限制计算预算。我们将此设置应用于稀疏标签率的大规模半监督连续学习场景中。我们提出了一种简单但非常有效的基准方法 DietCL，该方法联合利用未标记数据和标记数据，巧妙地分配计算预算。在多个数据集上进行验证时，DietCL 在限制预算的情况下明显优于所有现有的有监督 CL 算法以及更近期的连续半监督方法。我们的广泛分析和消融实验证明，DietCL 在标签稀疏性、计算预算和其他各种消融条件下都是稳定的。

    Apr, 2024

  • 具有渐进式任务相关层冻结的高效自监督连续学习

    本研究提出了一种利用自监督学习进行连续学习的新方法，通过分析任务之间的相关性，提出了一种分层冻结的算法，可以显著提高模型的训练效率和内存效率。在多个数据集上的实验结果表明，该方法在多个指标上优于目前的状态 - of-the-art 自监督连续学习方法，且不会牺牲准确性。

    Mar, 2023

  • 持续语义分割研究综述：理论、挑战、方法与应用

    连续学习在深度学习和人工智能系统中具有突破性意义，本文以连续语义分割为例，全面调查其问题形式、主要挑战、通用数据集、新理论和多样应用，并分类整理了当前 CSS 模型中的数据回放和无数据集两个主要分支方法，并提供了具有不同应用场景和发展趋势的四个 CSS 特性。

    Oct, 2023

  • 超网络用于连续的半监督学习

    该研究提出了一种用于半监督连续学习的元一致性框架，该框架采用超网络来学习基础网络的半监督辅助分类器生成对抗网络的权重，并整合了超网络中连续任务的知识，以在新集合上进行测试。

    Oct, 2021

  • 在线半监督对比学习用于通用连续学习

    该研究提出了一种适用于部分标记数据的对比损失函数 SemiCon，并通过利用无标签数据流训练的基于记忆的方法来证明了其有效性。在 Split-CIFAR10 和 Split-CIFAR100 数据集上，与现有的半监督方法相比，我们的方法在可用很少的标签时效果更佳，只使用了 2.6％的标签和 10％的标签，就可以获得与最新的监督方法相似的结果。

    Jul, 2022

  • 借助语言引导监督增强视觉持续学习

    利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

    Mar, 2024

  • 无监督连续学习的表征连续性

    该研究提出了一种基于无监督学习方法的连续学习技术，可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示，并通过使用 LUMP 技术来缓解灾难性遗忘问题。

    Oct, 2021