Aug, 2023

智建：用于预训练模型复用的统一且快速可部署的工具箱

PDF
TL;DR该研究报告介绍了一种综合且易于使用的模型重用工具箱 ZhiJian，利用 PyTorch 后端，旨在帮助深度学习实践者探索下游任务并识别不同方法之间的互补优势，从而实现预训练模型的无缝利用，简化研究人员和开发人员的模型重用过程。
发现论文，激发创造
  • Hugging Face 深度学习模型注册表中预训练模型重用的实证研究

    本文是关于使用预训练模型的实践和挑战，通过对 Hugging Face 生态系统中从业者的访谈和系统化的测量，确定了模型重用的实践和决策制定过程，并提出了模型重用的有用属性和挑战，以及对深度学习生态系统自动化地测量有用属性和潜在攻击的未来方向进行了展望。

    Mar, 2023

  • 孟子：面向轻量化的中文精妙预训练模型

    本技术报告介绍了我们的预训练模型 Mengzi，它是一种轻量但功能强大、多模式的预训练模型，经过我们优化的预训练和微调技术，已经在广泛使用的 CLUE 基准上取得了最新的最佳结果。

    Oct, 2021

  • TencentPretrain: 多模态预训练模型的可扩展和灵活工具包

    这篇论文介绍了 TencentPretrain，一个支持不同模态的预训练模型的工具包，其核心特性是模块化设计，用户可以选择所需组件构建完整的预训练模型，设计使用户能够有效地重现现有的预训练模型或构建全新模型，并测试表明其可以匹配原始实现的性能。

    Dec, 2022

  • 通过层内神经元共享实现多任务压缩

    本文提出了一个跨模型压缩深度神经网络的多任务压缩框架（MTZ），采用一种层次神经元共享和更新方案进行交叉模型压缩，通过 40％参数共享实现了轻微的精度损失。

    May, 2018

  • JiuZhang 2.0: 一个统一的中文预训练语言模型，用于多任务数学问题求解

    本文提出了一个联合学习的模型 “JiuZhang 2.0”，这个模型通过 Mixture-of-Experts 架构建模，实现多任务求解，通过形式化的方式指出了如何采用跨任务共享思想来提高模型的问题求解能力，并提出了利用大型语言模型集成化不断细化解决方案的方法，对模型的有效性进行了全面实验证明。

    Jun, 2023

  • 利用模型库中丰富的知识进行领域通用性的探索和利用

    本文提出一种方法，利用编码表示中的多样性和相关性变化特征，结合不同预训练模型获得更好的极端样本识别性能。通过实验结果验证了该算法的有效性。

    Jun, 2023

  • HuggingFace 社区中深度学习模型重用的挑战、利益与趋势

    模型复用方面，我们通过一项综合的混合方法实证研究，通过关注讨论论坛和 HuggingFace 模型中心，提出了一种挑战和益处的分类法，并进行了定量研究以追踪模型类型趋势和模型文档的演变。

    Jan, 2024

  • 深度模型重组

    该研究提出了一种深度模型重新组装（DeRy）技术，通过将预训练模型划分为等价集合并重新组合网络模块以满足硬件和性能限制，实现了通用模型的重复使用，并在 ImageNet 数据集上取得了令人满意的性能表现。

    Oct, 2022

  • 预训练模型：过去、现在和未来

    本文全面介绍了预训练模型的历史、最新成果以及未来的研究方向，旨在推进预训练模型应用于下游任务的发展。

    Jun, 2021

  • 预训练模型对即时缺陷预测的影响研究

    以不同的预训练模型为基础，探索了 Just-In-Time（JIT）缺陷预测任务中的性能差异、训练效率与模型分布的关系，以及输入敏感性，发现不同预训练模型在平衡数据集的少样本场景下具有更好的缺陷检测能力，特别是 CodeGPTJIT 和 GPT2JIT 在少于 2000 个训练样本的情况下，相比 DeepJIT 和 CC2Vec 获得更好的性能。

    Sep, 2023