通过线性插值发现预训练 - 微调模型之间的交叉任务线性性，揭示神经网络在参数空间到特征空间的映射机制，提供了关于模型合并 / 编辑的新见解，并强调了预训练的影响因素。

Feb, 2024

本篇文章提出了名为 Child-Tuning 的 fine-tuning 技术，通过在反向传播过程中遮盖非子网络的梯度来更新大型预训练模型的子网络的子集，实验结果表明 Child-Tuning 在 GLUE 基准测试的各个下游任务中始终优于普通 fine-tuning，平均分数高出 1.5~8.6 分。此外，领域转移和任务转移的实证结果表明，Child-Tuning 可以大幅提高泛化性能。

Sep, 2021

本文从严格性控制角度研究了深度神经网络的教师网络和学生网络的优化问题。通过针对教师网络训练中的宽松性进行优化，使得学生网络在学习过程中更容易获得跨类别相似性信息，从而在 CIFAR100 和 ILSVRC2012 等数据集的图像分类任务中取得更高的分类准确率。

May, 2018

提出了一种新的机器学习范式 Learngene，其主要特点是能够在一个祖先模型的连续学习期间积累知识，把这些经验压缩成紧凑的信息元素（即 Learngene），并将其遗传给后代模型，使其更容易适应新环境。

May, 2023

Phylo-NN 是一种无需标签，直接从昆虫图片中提取进化特征序列的方法，对鱼类进行了演示，证明了其用于物种图像生成和物种 - 物种图像转换的有效性。

Jun, 2023

通过 fine-tuning 算法的正则化与 self-labeling 方法相互插值，从而提高在小数据集下的图像与文本分类表现。

Nov, 2021

神经网络模型的快速增长使模型权重成为重要的数据形式。我们通过定义模型树描述模型的起源来解决网络上公开的模型数据无法解释和组织的问题。我们介绍了模型树继承恢复任务，旨在根据模型权重解码模型的树结构，从而有助于模型的作者鉴定和互联网索引等应用。通过对权重的分布特性进行分类，我们能够确定两个模型之间的关系和关系的方向。MoTHer 恢复将模型层次结构表示为一个有向树，成功地重建了复杂的模型树和 “野外” 模型族群的结构，如 Llama 2 和稳定扩散。

May, 2024

通过模仿自然基因的结构，我们采用名为 “learngene” 的新概念，并提出一种名为遗传传输学习（GTL）的框架，将有机体的进化过程复制到神经网络中。我们成功提取了 VGG11 和 ResNet12 的 learngenes，并证明了通过 learngenes 传递核心知识可能足够高效地提高神经网络的准确性。

Jan, 2024

本研究提出了一种使用预训练语言模型构建分类树（例如，WordNet）的方法，该方法包括预测父子关系和协调这些预测结果以形成树的两个模块。研究表明，该方法在构建英语 WordNet 子树的任务上取得了很好的成果，并在 Open Multilingual WordNet 上将结果扩展到其他九种语言。

Oct, 2020

使用 MNLI、QQP 和 CoLA 三个任务的文本分类模型为研究对象，发现了线性路径上增加的损失不断增加的现象，并探究了不同模型之间的泛化策略差异与损失表面几何形状之间的关系。

May, 2022