Jul, 2023

敏感 BERT：面向参数高效的 BERT 微调的敏感性驱动方法

PDF
TL;DRSensi-BERT 是一种基于敏感性驱动的高效 BERT 模型微调方法，能够从现成的预训练 BERT 模型中生成高度参数有效的模型，适用于各种下游任务，且在相似或更小的参数预算下表现出比现有替代方案更好的性能。
pre-trained language modelsparameter-efficient bert modelssensi-bertsensitivity analysisdownstream tasks
发现论文，激发创造
  • 通过主动学习对 BERT 进行微调，以提高低资源自然语言理解能力

    本文探讨了在数据点少于 1,000 的低资源环境下利用基于预训练 Transformer 的语言模型的微调方法，通过利用基于池的主动学习加速训练同时保持标记新数据的成本不变。实验结果表明，通过最大化从未标记数据池中查询的模型的近似知识收益，可提高模型性能。最后，我们演示并分析了语言模型冻结层的好处，以减少可训练参数的数量，使其更适用于低资源环境。

    Dec, 2020

  • 使用学习者高效微调压缩语言模型

    本论文提出使用学习模块和启动技术进行预训练模型的微调，以达到在更短的时间内得到更好效果的目标。实验证明，Learner 模块和 priming 可以在训练速度、资源利用等方面有较大提升。

    Aug, 2022

  • BERT 和 GPT-2 神经网络架构迁移对金融情感分析的敏感性分析

    本文研究了利用预训练模型进行微调时，模型的表现和参数的敏感性，通过实验发现 BERT 模型对于微调的随机性十分敏感，而 GPT-2 则更加稳定，同时也发现 GPT-2 和 BERT 的前几层包含了重要的单词模式信息需要进行保留。

    Jul, 2022

  • 精调预训练大型语言模型中的稀疏是足够的

    通过研究下游领域的损失函数从随机初始化到预训练初始化的变换，本文揭示了参数梯度稀疏性的特性，提出了基于梯度的稀疏微调算法 Sparse Increment Fine-Tuning (SIFT)，并在多个任务上验证了其有效性。

    Dec, 2023

  • 参数高效微调：跨应用全面分析

    评估了 Parameter Efficient Fine-Tuning 方法在深度学习中的有效性，以减轻计算负担、提高训练速度和降低内存使用，从而推动深度学习的更广泛应用和模型优化的创新。

    Apr, 2024

  • 基于 SURE 基准的参数高效迁移学习方法在语音理解领域的评估

    本文介绍了一种针对语音处理任务的参数高效学习算法 —— 适配器（adapters）以及一种新的名为 ConvAdapter 的适配器，它利用一维卷积来代替全量微调。实验证明，ConvAdapter 在某些任务中的表现优于标准适配器，且与前缀微调和 LoRA 相比表现相当，可训练参数量仅需它们的 0.94％。另外，本文提出了一个用于语音处理任务的模型评估基准 ——Speech UndeRstanding Evaluation（SURE），并进一步探讨了参数高效转移学习在文本转语音任务中的有效性。

    Mar, 2023

  • 大型模型的参数高效微调：综合调查

    通过介绍 Parameter Efficient Fine-Tuning 算法以及系统实现相关内容，该论文对大模型在计算成本方面的问题进行了综述，提供了对性能和系统实施的深入洞察，为研究人员了解最新发展和实际应用提供了不可或缺的资源。

    Mar, 2024

  • 边缘上 BERT 模型的高效微调

    本研究提出了一种名为 “Freeze And Reconfigure (FAR)” 的训练方案，用于在资源受限的设备上以较小的存储空间和时间成本优化 BERT 模型。实验结果表明，采用 FAR 训练方案的 DistilBERT 模型在 CoLA 数据集上可以将 fine-tuning 时间降低 30％，节省 47％的存储操作时间，GLUE 和 SQuAD 等数据集上的度量性能平均降低约 1％。

    May, 2022

  • 低资源口语理解的瓶颈低秩变换器

    本文介绍了如何使用变形器结构并应用群稀疏技术实现拥有较高精度、更小规模 SLU 模型的生成，从而避免使用预先训练的参数较多的大型模型。

    Jun, 2022

  • 缩小规模以进行高效参数微调指南

    本文系统概述和比较了 40 多篇发表于 2019 年 2 月至 2023 年 2 月之间的参数高效微调方法，这些方法旨在通过仅训练小量参数来解决微调大型语言模型的不可行性和不实用性，提供了一种包括多种方法的分类方法，并重点关注实际效率和微调超大规模语言模型。

    Mar, 2023