提出了一种 Scalable 并有效的框架来对预训练神经网络进行动态准确率 - 效率权衡的组装，该方案称为 Stitchable Neural Networks（SN-Net）；该方案在 ImageNet 分类任务中取得了与已训练网络相当甚至更好的表现，并支持多种部署场景。

Feb, 2023

SN-Netv2 是一种基于模型拼接的框架，能够有效地适应下游任务，并在训练效率和适应性方面均获得了很大的优势。

Jun, 2023

StitchNet 是一种新的神经网络创造范例，它能够将来自多个预训练神经网络的碎片（一个或多个连续的网络层）拼接在一起，使用 CKA 作为兼容性度量，以在特定的精度需求和计算资源限制下，有效地指导这些数据片段的选择，并实现可与传统训练网络相媲美的精度，同时使用计算资源和数据量的一小部分，从而探索了一种新的即兴个性化模型创建和推断应用。

Jan, 2023

通过 Learngene Pool 方法，将 Stitchable Neural Networks (SN-Net) 中存在的挑战解决，从而在低资源约束条件下构建小型和可变尺寸的模型，进一步提升性能。

Dec, 2023

本文针对多任务卷积网络中已存在的枚举多种网络架构的不足，提出了一种新的可端到端训练的共享单元：“十字绣” 单元，通过这种单元可以学习到共享和任务特定的最佳组合方式，在多任务中通用且表现远远优于基线方法。

Apr, 2016

本文提出了一种新颖的域适应方法 SiSTA，该方法利用单次训练目标任务样本 fine-tuned 生成模型，以产生配对的真实目标标注数据，并证明在面部属性检测和多类对象识别等基准测试中，SiSTA 相对其他方法表现更优秀。

May, 2023

基于大规模语言模型参数冗余的启发，我们提出了一种新的训练范式：进化子网络训练（EST），并将其应用于训练 GPT2 和 TinyLlama 模型，从而实现了 26.7％的 FLOPs 节省以及在下游任务中的性能提升，从而减少了训练成本并提高了泛化性能。

Jun, 2024

本文提出了一种基于深度神经网络的图像压缩感知方法 ISTA-Net++，通过动态展开策略和交叉块策略实现了处理不同比率和多场景图像的优异性能，并通过平衡数据集的训练增强了算法的健壮性，在四个数据集上均表现出了最先进的定量指标和视觉质量。

Mar, 2021

本文重新审视和扩展了模型拼接的方法，通过将训练好的两个模型 A 和 B 底层连接到顶层，并在它们之间加入一个简单的可训练层来形成一个 “拼接模型”，揭示了多方面的表示属性。通过大量实验证明，“好” 的网络学习相似的表示，更多的数据，更大的宽度或更多的训练时间可以 “插入” 到较弱的模型中以提高性能。此外，我们还展示了 SGD 的一个新的结构特性，称为 “缝合连接”，类似于模式连接，SGD 达到的典型最小值可以通过最小的精度变化缝合在一起。

Jun, 2021

提出了一种基于迁移学习的网络微调方法 NetTailor，它使用预训练的 CNN 层作为通用模块，可以与小的任务特定层组合生成新的网络，通过软注意力机制和复杂度正则化约束，最小化分类错误的同时降低网络复杂度。该方法可以使得适应简单任务的网络结构比适应复杂任务的网络结构更小，并且不降低参数共享和分类精度。

Jun, 2019