PeaTMOSS: 开源软件中预训练模型的数据集和初步分析

Feb, 2024

PeaTMOSS: 开源软件中预训练模型的数据集和初步分析

PeaTMOSS: A Dataset and Initial Analysis of Pre-Trained Models in Open-Source Software

Wenxin Jiang, Jerin Yasmin, Jason Jones, Nicholas Synovic, Jiashen Kuo...

TL;DR这篇论文介绍了 PeaTMOSS 数据集，它包含 281,638 个预训练模型的元数据和详细快照，以及 28,575 个使用这些模型的 GitHub 开源软件仓库。此外，该数据集还包括 15,129 个 GitHub 仓库到 2,530 个预训练模型的映射。通过对数据集的分析，揭示了预训练模型供应链的摘要统计、模型包文档的常见缺陷和软件许可证不一致性等问题，为未来的研究提供了丰富的机会。

Abstract

The development and training of deep learning models have become increasingly costly and complex. Consequently, software engineers are adopting pre-trained models (PTMs) for their downstream applications. The dynamics of the PTM supply chain remain largely unexplored, signaling a clear

deep learning models pre-trained models peatmoss dataset ptm supply chain software licenses

发现论文，激发创造

PeaTMOSS：开源软件中挖掘预训练模型

使用 PeaTMOSS 数据集，研究了深度学习模型在软件工程中的应用和挑战，该数据集包含大量预训练模型、开源软件仓库以及二者之间的映射。

Oct, 2023

Hugging Face 深度学习模型注册表中预训练模型重用的实证研究

本文是关于使用预训练模型的实践和挑战，通过对 Hugging Face 生态系统中从业者的访谈和系统化的测量，确定了模型重用的实践和决策制定过程，并提出了模型重用的有用属性和挑战，以及对深度学习生态系统自动化地测量有用属性和潜在攻击的未来方向进行了展望。

Mar, 2023

预训练模型是否能在数据集精炼中提供帮助？

数据集精炼（DD）是一种将大规模原始数据集的知识封装到小型合成数据集中进行高效训练的突出技术。与此同时，预训练模型（PTMs）作为知识库具有从原始数据集中获取的广泛信息。我们通过初步实验验证了 PTMs 对 DD 的贡献，然后系统研究了 PTMs 的不同选项，包括初始化参数、模型架构、训练周期和领域知识，揭示了：1）增加模型多样性可以提高合成数据集的性能；2）次优模型在某些情况下可以辅助 DD 并超过训练充分的模型；3）DD 并不一定需要特定的领域 PTMs，但合理的领域匹配至关重要。最后，通过选择最佳选项，我们显著提高了基线 DD 方法的跨体系结构泛化能力。我们希望我们的工作能帮助研究人员开发更好的 DD 技术。

Oct, 2023

HuggingFace 社区中深度学习模型重用的挑战、利益与趋势

模型复用方面，我们通过一项综合的混合方法实证研究，通过关注讨论论坛和 HuggingFace 模型中心，提出了一种挑战和益处的分类法，并进行了定量研究以追踪模型类型趋势和模型文档的演变。

Jan, 2024

Hugging Face 的相关知识：系统文献综述与定性声明的定量验证

我们通过系统文献综述和定量分析验证了关于 Pre-Trained Model （PTM）的重复使用的定性研究结论，证实 PTM 具有比传统软件更高的更新速度，并且文档质量与 PTM 的受欢迎程度存在强相关性。

Jun, 2024

预训练模型：过去、现在和未来

本文全面介绍了预训练模型的历史、最新成果以及未来的研究方向，旨在推进预训练模型应用于下游任务的发展。

Jun, 2021

时间序列预训练模型调研

本综述对时序预训练模型进行了全面回顾，介绍了典型的深度学习模型，总结了有监督、无监督和自监督时间序列预训练模型，分析了迁移学习策略、基于 Transformer 的模型和代表性 TS-PTMs 的优缺点，指出了未来的研究方向。

May, 2023

面向预测性维护的基准数据集

该论文描述了 MetroPT 数据集的来源、采集、特征和使用方法，该数据集是用于预测公共交通运输系统异常和故障的机器学习方法的一个很好的基准测试集。

Jul, 2022

探索 Hugging Face 和其他模型中预训练深度学习模型的命名规范（以及缺陷）

在本研究中，我们首次对预训练模型（PTM）的命名规范和相关的命名缺陷进行了研究，通过开发新的自动命名评估技术和算法，我们揭示了 PTM 领域中的命名规范，并将其作为研究与实践关系的信号；我们展望未来的工作是通过利用 PTM 的元特征来支持模型搜索和重用的经验研究。

Oct, 2023

MoPe: 基于模型扰动的语言模型隐私攻击

使用模型摄动法（MoPe）添加噪声到训练数据的模型参数空间，并测量参数点 $x$ 处对数似然的降低，得到了具有高置信度的预训练语言模型训练数据的方法。对涵盖从 70M 到 12B 参数的语言模型进行实验，发现 MoPe 比现有的基于损失的攻击和最近提出的摄动方法更有效。此外，还对训练点顺序和模型大小在攻击成功中的作用进行了研究，并实证了 MoPe 在实践中准确近似了 Hessian 矩阵的迹。结果表明，仅仅通过损失值无法确定能否提取信息，我们的方法可以恢复一些平均损失的训练点，对之前使用损失值作为记忆或遗忘证据的研究结果产生了一定的怀疑。

Oct, 2023