通过模仿自然基因的结构，我们采用名为 “learngene” 的新概念，并提出一种名为遗传传输学习（GTL）的框架，将有机体的进化过程复制到神经网络中。我们成功提取了 VGG11 和 ResNet12 的 learngenes，并证明了通过 learngenes 传递核心知识可能足够高效地提高神经网络的准确性。

Jan, 2024

提出了一种实用的集体 - 个体范式，该范式在序列任务上训练一个进化（可扩展）网络，并且通过从集体模型中发现 learngene，重建轻量级个体模型，经过实验研究和理论分析证明，本文的方法在实现 few-shot learning 场景中取得了很好的效果

Jun, 2021

扩展共享 Transformer 模块以生成和初始化具有不同深度的 Transformer，以适应动态资源约束。

Dec, 2023

本文介绍了一种基于学生 - 教师 VAE 架构的无监督生成建模的终身学习方法，通过引入一种新的跨模型正则化器，以减少神经网络在连续学习情况下面临的灾难性干扰，并在多个数据集上验证了其性能。

May, 2017

本研究利用变分自编码器（vae）设计了一种高效有效的终身生成模型，通过扩展 vae 的内在重构特性到历史知识保留，开发了一种反馈策略来减轻错误积累，实验结果验证了该方法在终身生成任务中的有效性。

Jan, 2022

本文提出了一种用于神经主题建模的终身学习框架，可以连续处理文档集流并通过从多个来源的知识转移积累主题，以更好地处理稀疏数据，并通过新的选择性数据增强、共同训练和主题正则化方法来最小化灾难性遗忘，作者通过建模三个稀疏的文档集任务进行证明其提出的终身神经主题建模（LNTM）框架具有改良的表现。

Jun, 2020

基于基因学概念，本文提出了一种名为遗传增强学习（GRL）的计算框架，有助于代理的训练和进化。GRL 中的基因以代理神经网络的片段形式保存，通过祖先的知识遗传和演化，使代理具有更好，更稳定的学习能力，同时提供了有关智能代理 Lamarckian 演化的证据。

Jun, 2023

通过 Learngene Pool 方法，将 Stitchable Neural Networks (SN-Net) 中存在的挑战解决，从而在低资源约束条件下构建小型和可变尺寸的模型，进一步提升性能。

Dec, 2023

建立适应不同应用场景中多样资源约束的变量大小模型，权重初始化是训练前的重要步骤。Learngene 框架通过从大型已训练模型中学习一部分紧凑的 Learngene，再将其扩展用于初始化变量大小模型。本文分析了指导已训练 Learngene 层扩展的重要性，提出了一种称为 SWS（逐阶段权重共享）的简单而高效的 Learngene 方法，其中 Learngene 层和其学习过程对于在不同规模上初始化模型提供知识和指导。在 ImageNet-1K 上的大量实验证明，SWS 相对于从头开始训练的许多模型，性能更好且减少了约 6.6 倍的总训练成本。在某些情况下，SWS 经过 1 轮调优后效果更好。当初始化适应不同资源约束的变量大小模型时，与预训练和微调方法相比，SWS 在减少约 20 倍的存储参数以及约 10 倍的预训练成本的同时取得更好的结果。

Apr, 2024

本文研究了生成模型中的终身学习问题，提出了一种使用知识蒸馏的解决方案，可以在保持之前任务能力不变的同时完成新的任务，该方法适用于不同的有条件图像生成设置。

Jul, 2019