EMNLPSep, 2021

总结回忆：神经语义解析器的定制化持续学习方法

PDF
TL;DR本论文探讨连续学习在语义解析中的应用方法，提出了一种面向神经语义解析器的连续学习方法 TotalRecall，通过多方面优化神经网络中的采样和分布平衡，以及采用两阶段训练方式，提高了神经网络在多任务间的泛化能力，实验结果表明这种方法优于目前的最新算法，并且较之重新训练模型速度提高了 3-6 倍。
continual learningsemantic parsingneural networkmemory replaytwo-stage training
发现论文，激发创造
  • 基于重播的连续学习在语义分割中的应用: RECALL

    研究使用生成对抗网络和网络抓取数据重现不可用的旧类数据，避免遗忘和背景类的数据分布变化，达到在连续学习中存在不同步骤和背景类分布变化的情况下更好的表现。

    Aug, 2021

  • RECALL+: 广告网络回放对语义分割中的持续学习

    通过利用无监督的网络爬取数据检索旧类别示例，本文拓展了之前的方法（RECALL）并通过对抗学习和自适应阈值选择与当前训练数据相似的网络数据样本以解决持续学习中的遗忘问题，在多个增量学习步骤中表现出卓越的结果。

    Sep, 2023

  • 用非常少的数据训练自然化语义解析器

    本篇论文介绍了一种基于语言模型的 seq2seq 体系结构，重点介绍了少样本语义解析，并基于非注释数据引入联合训练、有约束的解码、自训练和重新表述这四种技术进行了自动方法来提高语义解析性能。结果表明，该方法在夜间数据集上提供了新的最优结果，并在新的语义解析数据集上提供了非常令人信服的少样本结果。

    Apr, 2022

  • RETRONLU：检索增强的任务导向语义解析

    使用检索式建模的思想，为会话助手的多领域任务定向语义解析问题引入了 RetroNLU 方法，通过在序列到序列模型中扩展检索部件，我们的技术在语义解析的不同语言表达复杂度下均比基线更为出色，尤其是在数据稀缺环境下，只需 40％的数据即可达到基线模型准确度的匹配，超越基线方法 1.5％的绝对宏 - F1。

    Sep, 2021

  • 推动神经信息检索中的持续终身学习：定义、数据集、框架和实证评估

    连续学习模型的任务制定和学习策略在神经信息检索中的有效性及应对主题变化和数据增强的影响进行了概括和评估。

    Aug, 2023

  • RECALL: 无需回忆的连续学习用于目标分类

    提出了一种名为 RECALL 的新型无训练回溯方法，可持续性地学习新的未见过的物体类别，采用回想流程对旧类别进行分类，采用新头部来适应新类别，同时提出了一个正则化策略来减轻遗忘，提出了包括方差的马氏损失，以适应可变密度的新旧类别差异，并在 HOWS-CL-25 数据集上验证了方法的有效性。

    Sep, 2022

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 增强回放的连续强化学习

    RECALL 是一种重播增强方法，通过自适应规范化和旧任务的策略蒸馏，在新任务上增强普适性和稳定性，从而显著改善持续强化学习中灾难性遗忘的问题。在 Continual World 基准测试中，RECALL 的性能明显优于纯粹的完美记忆重播，与最先进的持续学习方法相比，整体性能相当甚至更好。

    Nov, 2023

  • 神经语义解析的迁移学习

    本文提出了一种基于多任务框架和序列到序列模型的语义解析方法，旨在解决语料数据不足限制，较少标注数据任务可以通过从大量标注数据任务中传递学习的方式得到提升，实验结果在自己的数据集中获得了 1.0% 到 4.4% 的准确度提升，在 ATIS 语义解析任务中，准确度提升了 2.5% 到 7.0%。

    Jun, 2017

  • 神经网络中的持续学习

    通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

    Oct, 2019