评估和改进口语理解中的持续学习

Feb, 2024

评估和改进口语理解中的持续学习

Evaluating and Improving Continual Learning in Spoken Language Understanding

Muqiao Yang, Xiang Li, Umberto Cappellazzo, Shinji Watanabe, Bhiksha Raj

TL;DR我们提出了一种评估方法，能够统一评估在连续学习中的稳定性、可塑性和泛化能力，并展示了引入不同的知识蒸馏方法如何改善语音语言理解模型的这三个性质方面。我们进一步展示了我们提出的指标更敏感地捕捉到连续学习中任务顺序的影响，因此更适合实际应用场景。

Abstract

continual learning has emerged as an increasingly important challenge across various tasks, including spoken language understanding (SLU). In SLU, its objective is to effectively handle the emergence of new conce

continual learning spoken language understanding evaluation methodology knowledge distillations task ordering

发现论文，激发创造

用于分析持续学习者的新度量标准

在连续流数据的情景中，深度神经网络在解决多个分类任务时，面临着保持旧任务知识同时学习新任务的挑战。本研究分析了当前度量方法的局限性，发现了新任务引起的遗忘问题，并提出了一套考虑任务难度增加的新度量方法，实验证明这些度量方法能够提供有关模型在连续学习环境中平衡稳定性和可塑性的新见解。

Sep, 2023

终身学习中的持续评估：发现稳定性差距

本论文提出一个连续的学习框架，旨在解决神经网络训练过程中遗忘的问题，并定义了一系列新的指标来实现对学习机的实时评估，研究表明既有重放机制又有正则化机制的在线学习方法都存在稳定性差距的问题。

May, 2022

具有广义持续学习的可扩展语言模型

该研究引入了可扩展语言模型（SLM）来解决现有方法在实际应用中遇到的限制和挑战，通过联合自适应重参数化（JARe）和动态任务相关知识检索（DTKR），实现了语言模型的自适应调节，从而在广泛的应用领域中实现了有效的持续学习。

Apr, 2024

认知视角下的持续学习基准评估

连续学习模型的认知能力和评价度量方法不匹配，为了解决这些问题，提出了将模型认知能力和评价度量整合成统一评价范式的方法，通过实验证明目前没有方法能够满足所有要求，对模型性能的影响因素进行了讨论并提供了改进连续学习模型的指导。

Dec, 2023

网络连续学习中稳定性与可塑性困境的新见解

本研究提出了一种名为 MuFAN 的在线连续学习框架，利用不同级别的预训练网络中提取的更丰富的上下文编码，并引入了一种新颖的基于结构的蒸馏损失和稳定性 - 可塑性标准化模块，用于同时保持高可塑性和稳定性。MuFAN 在多个数据集上优于其他现有的连续学习方法。

Feb, 2023

精细调整的语言模型是持续学习者

通过自我监督预训练不断学习的大型语言模型，可以在多个数据集上持续学习并保持先前任务的良好性能，同时展示新的组合方式。

May, 2022

不要忘记，遗忘并不是全部：连续学习的新指标

本文提出了一种更综合全面的衡量连续学习算法的方法，包括准确性、知识转移、内存占用和计算效率等多方面的度量，并将这些度量融合成一个评分，通过评估五种算法在 iCIFAR-100 数据集上的表现来证明这种方法的优越性。

Oct, 2018

连续学习的全面调查：理论，方法与应用

本研究全面综述了不断学习的基本设置，理论基础，代表性方法和实际应用，总结了不断学习的目标，并通过当前趋势，跨方向前景和跨学科与神经科学的联系开展了深入讨论。

Jan, 2023

大规模语言模型的持续学习：一项综合调研

对大型语言模型在持续学习、预训练、微调以及评估协议方面进行综述.

Apr, 2024

确立可信度：重新思考任务和模型评估

语言理解是一个多方面的认知能力，自然语言处理（NLP）领域几十年来一直致力于计算化建模。最近大型语言模型（LLMs）的出现，使得以生成模型为动力的通用性、任务无关的方法成为主流，这导致了语言任务传统上的划分不再适用，带来了对评估和分析的挑战，同时也加大了对可靠系统的需求。因此，我们主张重新思考 NLP 中任务和模型评估的涵义，并追求对语言的更全面视角，将可靠性放在核心地位。为了实现这一目标，我们回顾了现有的划分式方法，以了解模型功能能力的起源，并提出了多方面评估协议的建议。

Oct, 2023