continual training | BriefGPT

关键词continual training

搜索结果 - 7

大词汇量提升大型语言模型
本文通过实证研究了子词词汇大小与大型语言模型（LLM）性能之间的关系，以提供关于如何定义词汇大小的洞见。实验结果表明，更大的词汇大小可提高 LLM 的性能。此外，我们考虑了一个持续训练的情景，其中一个预训练的语言模型在不同的目标语言上进行训
PDF6 days ago
LlamaTurk：为低资源语言适应开源生成型大语言模型
通过对英语为主的生成大语言模型进行调整，以适应资源匮乏的语言，并评估了不同的策略，包括持续训练、指导微调、任务特定微调和词汇扩展。结果表明，持续训练改进了语言理解能力，任务特定微调一般提高了下游任务的性能，但扩展词汇未带来实质性的益处。此外
PDF2 months ago
抓住机遇：硬样本重新加权的连续训练提高 LLM 的推广能力
使用实例重新加权的分布鲁棒优化方法在大型语言模型的持续训练中有效地优化了样本保留，提高了语言模型的性能。
PDF4 months ago
视频非监督单目深度的持续学习
我们提出了一种基于重演的双存储器方法 MonoDepthCL，用于在连续学习深度估计时利用时空一致性，即使相机内参未知。
PDF8 months ago
医学图像分类的序列学习应用
我们开发了一个神经网络训练框架，用于不断训练少量的医学影像数据，并创建了在缺乏验证或测试集的情况下评估训练的启发式方法。
PDF9 months ago
CVPRCSG0: 零遗忘不断生成城市场景
本文提出了一种基于生成对抗网络的连续场景生成框架，在保证零遗忘的前提下，提高了场景生成质量，尤其适用于不断获得新数据的情境，特别是在低数据情境下具有优异性能。
PDF3 years ago
COLING探究神经机器翻译的连续训练期间的灾难性遗忘
在域自适应背景下，我们从模块和参数（神经元）的角度探究了神经机器翻译（NMT）模型的灾难性遗忘原因，发现一些模块与通用领域知识有紧密联系，而其他一些模块在域自适应中更为重要，一些参数对通用领域和领域内翻译都很重要，而在持续训练期间它们的大幅
PDF4 years ago