weight factorization | BriefGPT

关键词weight factorization

搜索结果 - 1

面向不断学习新语言
本研究通过将权重分解和弹性权重整合的方法相结合，以抵消灾难性遗忘并快速学习新语言，在 10 种语言的初始训练中实现了从 10 种语言到 26 种语言的学习，同时消除了灾难性遗忘。训练后的性能表现可以与全部语言同时训练相媲美。
PDF2 years ago