AAAINov, 2022

昨日之学：一种半监督的持续学习方法，用于受监督限制的文本到 SQL 任务流

PDF
TL;DR本文提出使用半监督学习和持续学习解决文本到 SQL 任务的过度拟合和过度训练的问题，并提出了两种解决方案：一是进行自训练和周期性记忆重放；二是利用过去信息和高质量伪造实例以改善未来回放。实验结果表明，该方法在多个指标上优于基线方法。
text-to-sqlsemi-supervised learningcontinual learningself-trainingmemory replay
发现论文，激发创造
  • 通过对比插值一致性进行持续的半监督学习

    本文探讨了基于少量标注数据的持续半监督学习问题，并设计了一种利用度量学习和一致性正则化的新方法，仅依赖 25% 的监督数据即可优于全监督训练下的 SOTA 方法。

    Aug, 2021

  • 具有渐进式任务相关层冻结的高效自监督连续学习

    本研究提出了一种利用自监督学习进行连续学习的新方法，通过分析任务之间的相关性，提出了一种分层冻结的算法，可以显著提高模型的训练效率和内存效率。在多个数据集上的实验结果表明，该方法在多个指标上优于目前的状态 - of-the-art 自监督连续学习方法，且不会牺牲准确性。

    Mar, 2023

  • 超网络用于连续的半监督学习

    该研究提出了一种用于半监督连续学习的元一致性框架，该框架采用超网络来学习基础网络的半监督辅助分类器生成对抗网络的权重，并整合了超网络中连续任务的知识，以在新集合上进行测试。

    Oct, 2021

  • 连续自监督学习的挑战

    本文研究了自我监督学习在连续流数据中的应用及其效率，提出了重放缓存与最小冗余样本的方法来增强学习。实验结果表明，这些方法可以有效提高表示学习的精度和鲁棒性，在非平稳的语义分布下也不容易出现灾难性遗忘。

    Mar, 2022

  • 专家 / 模仿网络混合：可扩展的半监督学习框架

    本文提出了一个 semi-supervised learning (SSl) 的新方法：Mixture of Expert/Imitator Networks，该模型通过利用大量未标记数据来训练 imitator 网络模拟 expert 网络的标签分布，从而提高 text classification 任务的性能，实验结果表明该方法可适用于多种深度神经网络模型，并且性能随未标记数据的增加而提高。

    Oct, 2018

  • 等变正则化在在线鲁棒持续学习中的有效性

    本研究提出了一种在线持续学习方法 CLER，通过等变性预处理任务进行自我监督，避免了 CSSL 技术的局限性，并与现有 OCL 方法轻松集成。重点探讨了等变性预处理任务对网络信息流的影响以及其对持续学习动态的影响。

    May, 2023

  • 在连续学习中利用测试时间数据控制遗忘

    通过利用测试数据进行自我监督，以减少遗忘，并提出了基于梯度稀疏参数更新的简单但有效的学生 - 教师模型，进而显著改善了模型的性能和减少了遗忘。

    Jun, 2024

  • 塑性优化的互补网络用于无监督连续学习

    通过训练专家网络和结合自适应回顾相位的方法来解决在多任务数据流上学习时的性能下降问题，该方法在少任务和多任务划分设置中优于其他无示例连续无监督表征学习方法，并且在半监督连续学习方面表现优于其他无示例半监督连续学习方法。

    Sep, 2023

  • 半监督终身语言学习

    本文提出了一种基于无标签数据的半监督终身语言学习方法，通过构建任务特定模块和利用无标签数据，在多项语言任务上展现了其比竞争方法更为有效的学习效果，减轻了学习模型在连续任务学习中的 “灾难性遗忘” 问题。

    Nov, 2022

  • 借助语言引导监督增强视觉持续学习

    利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

    Mar, 2024