Hugging Face 深度学习模型注册表中预训练模型重用的实证研究

Mar, 2023

Hugging Face 深度学习模型注册表中预训练模型重用的实证研究

An Empirical Study of Pre-Trained Model Reuse in the Hugging Face Deep Learning Model Registry

Wenxin Jiang, Nicholas Synovic, Matt Hyatt, Taylor R. Schorlemmer, Rohan Sethi...

TL;DR本文是关于使用预训练模型的实践和挑战，通过对 Hugging Face 生态系统中从业者的访谈和系统化的测量，确定了模型重用的实践和决策制定过程，并提出了模型重用的有用属性和挑战，以及对深度学习生态系统自动化地测量有用属性和潜在攻击的未来方向进行了展望。

Abstract

deep neural networks (DNNs) are being adopted as components in software systems. Creating and specializing DNNs from scratch has grown increasingly difficult as state-of-the-art architectures grow more complex. Following the path of traditional →

deep neural networks pre-trained models software engineering ptm reuse model risks

发现论文，激发创造

HuggingFace 社区中深度学习模型重用的挑战、利益与趋势

模型复用方面，我们通过一项综合的混合方法实证研究，通过关注讨论论坛和 HuggingFace 模型中心，提出了一种挑战和益处的分类法，并进行了定量研究以追踪模型类型趋势和模型文档的演变。

Jan, 2024

探索 Hugging Face 和其他模型中预训练深度学习模型的命名规范（以及缺陷）

在本研究中，我们首次对预训练模型（PTM）的命名规范和相关的命名缺陷进行了研究，通过开发新的自动命名评估技术和算法，我们揭示了 PTM 领域中的命名规范，并将其作为研究与实践关系的信号；我们展望未来的工作是通过利用 PTM 的元特征来支持模型搜索和重用的经验研究。

Oct, 2023

Hugging Face 的相关知识：系统文献综述与定性声明的定量验证

我们通过系统文献综述和定量分析验证了关于 Pre-Trained Model （PTM）的重复使用的定性研究结论，证实 PTM 具有比传统软件更高的更新速度，并且文档质量与 PTM 的受欢迎程度存在强相关性。

Jun, 2024

PeaTMOSS：开源软件中挖掘预训练模型

使用 PeaTMOSS 数据集，研究了深度学习模型在软件工程中的应用和挑战，该数据集包含大量预训练模型、开源软件仓库以及二者之间的映射。

Oct, 2023

挖掘 Hugging Face 代码库所学到的经验教训

机器学习和人工智能领域的快速发展引出了像 Hugging Face（HF）这样的平台作为模型开发和共享的中心枢纽。本研究报告综合了两项关于 HF 的综合研究，着重关注碳排放、ML 模型的演化和维护方面。我们的目标是为将来从事 HF 生态系统内的软件库研究的研究人员提供实用指南，以提高这些研究的质量。我们深入研究了在我们的研究中使用的复制包的复杂性，突出了促进分析的关键工具和方法。此外，我们提出了一种细致的分层抽样策略，专为多样化的 HF Hub 数据集量身定制，以确保一种代表性和全面的分析方法。该报告还介绍了初步指南，从库挖掘过渡到群体研究，在 HF 上下文的 ML 模型研究中建立因果关系。这种过渡受到现有框架的启示，并进行了适应以适应 HF 模型生态系统的独特特点。我们的报告为研究人员提供了一个指导性框架，有助于负责任和可持续的 ML 进展，并促进对 ML 模型更广泛影响的深入理解。

Feb, 2024

预训练模型：过去、现在和未来

本文全面介绍了预训练模型的历史、最新成果以及未来的研究方向，旨在推进预训练模型应用于下游任务的发展。

Jun, 2021

深度学习系统的模型重用攻击

本文展示了恶意原始模型对机器学习系统的安全性带来的巨大威胁，并提供了有效、难以检测和易于实现的攻击方法，同时探讨了相应的潜在对策，给出了若干有前途的研究方向。

Dec, 2018

智建：用于预训练模型复用的统一且快速可部署的工具箱

该研究报告介绍了一种综合且易于使用的模型重用工具箱 ZhiJian，利用 PyTorch 后端，旨在帮助深度学习实践者探索下游任务并识别不同方法之间的互补优势，从而实现预训练模型的无缝利用，简化研究人员和开发人员的模型重用过程。

Aug, 2023

通过模型再造重复使用深度神经网络模型

SeaM 是一种改进现有 DNN 模型可重用性的工具，它使用基于梯度的搜索方法搜索模型的相关权重，从而重建模型以仅保留与目标问题相关的权重，并且相较于原始模型，在分类准确性上提高了 5.85％，并且重复使用重建模型时缺陷继承平均减少了 57％。

Apr, 2023

预训练深度神经网络之间的差异性：模型可靠性的新威胁

本研究主要探讨了不同模型动物园中 36 个预训练深度神经网络之间的准确性、延迟和体系结构的差异，发现了 1.23％-2.62％的准确性差异和 9％-131％的延迟差异，同时发现了已知深度神经网络体系结构（例如，ResNet 和 AlexNet）的构架不匹配。为保证深度学习模型的可靠性，我们强调有必要进行深入的实证验证、自动化测量工具的开发以及实现的最佳实践的制定。

Mar, 2023