Sep, 2022

基于梯度的简单有效序列到序列模型调优

PDF
TL;DR本研究首次将梯度基础的超参数优化方法应用于序列到序列任务中，为神经机器翻译和自然语言理解任务（通过 T5 预训练）提供了效率和性能增益。通过超参数优化得到的一些超参数学习时间表可以超过甚至优于最优常值调整。同时，本文还展示了在预训练期间学习超参数可以提高在下游自然语言理解任务中的性能表现。
language modelshyperparameter optimizationneural machine translationnatural language understandingt5 pretraining
发现论文，激发创造
  • 超调：大型语言模型的自适应调节方法，无需借助反向传播算法

    本文提出了 HyperTuning 方法用于模型适应，可以生成特定任务的参数并在大量多样化语言任务上进行多任务微调。通过在 P3、MetaICL 和 Super-NaturalInstructions 数据集上的表现，证明该方法可以有效地为新任务生成参数，并改善性能。

    Nov, 2022

  • 基于梯度的可扩展连续正则化超参数调整

    本文提出一种基于梯度的方法来调整模型的超参数，使其在对验证成本更有利的情况下进行模型参数梯度和更新，实现对正则化超参数的调优。在 MNIST、SVHN 和 CIFAR-10 数据集上的实验表明，此方法比其他基于梯度的方法成本更低且一致找到了好的超参数值，有望成为神经网络模型训练的有用工具。

    Nov, 2015

  • 面向参数高效的迁移学习统一视角

    本文提供了一个统一框架来探讨 NLP 中参数高效的迁移学习方法，将多种不同的方法重新构建为预训练模型中特定 hidden states 的修改，定义了一组设计维度以表明不同方法的变化方向，如计算修改的函数和应用修改的位置等。通过涵盖机器翻译、文本摘要、语言理解和文本分类基准的全面实证研究，识别了以前方法中的重要设计选择。此外，我们的统一框架使得设计元素可以在不同方法之间进行转移，从而实现了比以前更高效的 fine-tuning 方法。

    Oct, 2021

  • 使用深度序列模型预测最佳核调参

    使用深度序列到序列模型预测 GPU 计算内核的最佳调优参数，能够准确学习 GPU 计算内核的性能动态，减少开发时间和计算资源。

    Apr, 2024

  • 可逆学习的基于梯度的超参数优化

    本文介绍了如何通过逆向随机梯度下降的动态过程精确计算出所有超参数的交叉验证性能梯度，并优化上千个超参数，包括学习速率、动量方案、权重初始化分布，多参数正则化方案和神经网络架构。

    Feb, 2015

  • BBTv2：走向基于大语言模型的无梯度未来

    本研究介绍了改进版本的黑盒调参法 BBTv2，将连续的提示优化到每一层的预训练模型中，并提出了一种分治的无梯度算法，以可比的性能在少样本学习下替代全模型调参和其他方法。

    May, 2022

  • 预训练语言模型微调中超参数优化的实证研究

    本文研究了模型微调和超参数优化的关系，并提出了两种一般策略以及一个实验流程，以系统地解决超参数优化在微调预训练语言模型时的失败案例。通过实验，我们发现在更适当的搜索空间和时间预算设置下，超参数优化可以取得成功，但在某些情况下，过拟合仍然存在。

    Jun, 2021

  • HyperPELT：统一参数高效的语言模型调整，适用于语言和视觉语言任务

    本文提出一种基于预训练的参数高效迁移学习框架，使用共享的超网络对预训练语言模型进行微调，支持语言和视觉任务，并在多任务学习中具有较好的性能和转移能力。

    Mar, 2022

  • 预训练的生成式语言模型作为序列任务的通用学习框架

    我们提出，可以利用具有数百万参数的小型预训练基础生成性语言模型作为一种通用学习框架来处理基于序列的任务。我们的方法克服了从头开始训练神经网络和语言模型所面临的计算资源、技能和时间线挑战。此外，我们的方法专注于创建能够准确执行基础模型无法完成的挑战性任务的小型高度专业化模型。我们证明了使用 125M、350M 和 1.3B 参数的预训练基础语言模型可以通过 10,000 到 1,000,000 个指令示例进行指令微调，从而在具有挑战性的化学信息学任务上取得接近最先进的结果。我们还展示了连续语言模型微调周期对改善结果的作用，以及数据格式化和预训练基础语言模型选择对指令微调成功的重要性。

    Feb, 2024

  • 基于梯度的参数选择以实现高效微调

    利用渐变参数选择技术（GPS）来进行参数有效的微调，以提高预训练模型的性能，并证明与全模型微调方法相比，只调整预训练模型中的少数参数并保持其余参数冻结可以实现类似或更好的性能，同时不引入额外的参数和计算成本，并在多个任务中表现出更好的性能。

    Dec, 2023