本文是关于使用预训练模型的实践和挑战，通过对 Hugging Face 生态系统中从业者的访谈和系统化的测量，确定了模型重用的实践和决策制定过程，并提出了模型重用的有用属性和挑战，以及对深度学习生态系统自动化地测量有用属性和潜在攻击的未来方向进行了展望。

Mar, 2023

本文从 “过程” 视角描述了深度学习模型重新工程活动中的特征和挑战，分析了深度学习模型在计算机视觉领域的重构和缺陷分布，并提出了一种新的重新工程流程。这些结果可以指导今后更多的度量、标准化工程实践以促进重新工程，以及开发工具以支持重用深度学习模型的发展方向。

Mar, 2023

该论文提出了一种将模块化融入模型训练过程中来优化训练并使模型具有可重用性的方法，并在卷积神经网络模型上对其进行了评估。

Jun, 2023

本文介绍了一种名为模型再编程的新技术，通过从源域重新利用和重用开发良好的预训练模型来解决目标域中的任务，从而实现资源高效的跨域机器学习，其方法论、现有应用案例和开放性研究问题等均有详细阐述。

Feb, 2022

该研究提出了一种深度模型重新组装（DeRy）技术，通过将预训练模型划分为等价集合并重新组合网络模块以满足硬件和性能限制，实现了通用模型的重复使用，并在 ImageNet 数据集上取得了令人满意的性能表现。

Oct, 2022

本文提出了一种名为 FreeREA 的算法，利用基于细胞的演化神经网络结构搜索，结合训练 - 免度量化的方式，实现了在几分钟内快速鉴别神经网络模型，同时保留模型大小和计算要求，因此能够适用于在有限资源下使用的应用。实验结果表明，FreeREA 可以在各种数据集和基准测试中优于现有的基于训练 / 免训练技术的技术，并能在约束的情况下扩展到通用神经结构搜索，从而为快速的神经结构搜索提供了一种有竞争力的解决方案。

Jun, 2022

该研究通过对非张量层和张量层进行 ' 瘦身 ' 来加速深度神经网络的执行，从而达到大幅减少运行时间和占用内存的效果。实验证明，这种方法除了花费较少的计算精度带来的 0.4% 的损失率外，还在保证高准确率的前提下获得了 3 倍以上的加速。

Aug, 2017

本研究提出一种新的基于深度计算图重编程的无需改变结点特征或者模型参数的任务复用模型，使用数据重编程和模型重编程方法能更好地解决不同领域中的多跨层下游任务，其中元特征填充是解决图像特征维度多样化的挑战的关键方法之一。

Apr, 2023

本论文提出 CME 框架，用于通过基于概念的提取模型分析 DNN 模型，通过 dSprites 和 Caltech UCSD Birds 的两个案例研究表明，CME 可用于分析 DNN 模型学习的概念信息，如何使用这些概念信息来预测输出标签，识别关键的概念信息，进一步提高 DNN 的预测性能，准确率可提高 14％以上，仅使用可用概念的 30％。

Oct, 2020

介绍了深度学习在软件工程中的应用，着重讨论了源代码的预训练模型，并展望了未来的研究方向。

May, 2022