通过元学习的方法，提出了一种称为 Context-aware Meta-learned Loss Scaling (CaMeLS) 的在线微调算法，可以显著提高大语言模型对文本知识的保留能力。

May, 2023

通过梯度下降机制使神经序列模型适应最近的历史，从而提高模型的性能和有效性，在多个数据集上表现出了优于现有模型适应方法的结果。

Sep, 2017

为了使现有的视觉模型适应于不同的下游场景，本文探讨了在线测试时间自适应方法在各种真实世界场景下的表现，并针对该方法的局限性提出了一种特别保守的方法 —— 使用 LAME 目标来解决问题，并通过高效的凸凹过程求解该目标，从而使其在场景中表现更佳。

Jan, 2022

大型语言模型的在线适应性方案，通过压缩与提取新文档中的信息，并存储在记忆库中，实现知识保留、问答和适应性，以提高效率和性能。

Mar, 2024

该论文提出了一种新颖的在线评估协议，用于对测试时间自适应（TTA）方法进行评估，通过为较慢的方法提供更少的自适应样本来惩罚它们。我们将该协议应用于多个数据集和场景中，评估了几种 TTA 方法，并表明当考虑推理速度时，简单快速的方法可以胜过更复杂但较慢的方法。

Apr, 2023

研究中通过深入研究 Fine-tuning 的优化策略和技术，探讨了对于具有大量参数的语言模型在 GPU 资源限制下，平衡内存和运行时间的最佳优化方案。

Jun, 2024

本研究探讨了单词级别的语言建模任务，并研究了将基于隐藏状态的短期表示与编码在语言模型的动态权重中的中期表示相结合的可能性。我们将语言建模问题转化为在线学习框架，并通过梯度下降训练元学习器以连续更新语言模型权重，扩展了最近在动态演化权重的语言模型上的实验。

Mar, 2018

通过存储案例，使用基于上下文的查找直接修改神经网络的权重，以 Memory-based Parameter Adaptation 为核心的方法，可以在监督任务中有效地改善深度神经网络的性能和训练速度。

Feb, 2018

利用控制论技术，通过在线适应法更新深度神经网络参数，控制域偏移以及解决稳定性和迁移学习问题，提高深度神经网络基于学习的系统的性能和保证。

Feb, 2024

本文提出了两种优化神经网络语言模型适应新数据的方法，包括在重新采样数据上进行继续训练或插入适应性层。在 CAT 环境中应用于 SMT 系统中，这两种方法均取得了显著的改进。

Dec, 2014