ACLMay, 2023

HiFi: 高信息注意力头用于参数有效的模型调整

PDF
TL;DR本文提出了一种名为 HiFi 的参数高效的微调方法，即只微调与特定任务高度相关的信息丰富且高度相关的注意力头，该方法使用 PageRank 算法搜索显著的注意力头，实验证明 HiFi 方法在 GLUE 基准测试中获得了先进的性能。
pre-trained language modelsfine-tuningattention headsresource-efficientpagerank algorithm
发现论文，激发创造
  • HiFT: 一种分层全参数微调策略

    通过 HiFT 这一新的、独立于优化器的端到端分层微调策略，我们能够在训练步骤中仅更新子参数集合，从而显著减少梯度和优化器状态参数在 GPU 内存中的占用量，并降低超大模型全参数微调时的 GPU 内存使用。

    Jan, 2024

  • HiFi Tuner：高保真主题驱动微调扩散模型

    该论文研究了利用预训练的文本到图像扩散模型实现高保真个性化图像生成的进展。通过引入一种创新算法名为 HiFi Tuner 来增强在个性化图像生成过程中对对象外观保持的能力，提出了基于参数高效的微调框架，包括去噪过程和关键性倒转过程。此外，还提出了参考引导生成方法，利用参考图像的关键性倒转来减轻不想要的主题变化和伪影。实验结果表明，通过仅在文本嵌入上进行微调，CLIP-T 得分提高了 3.6 分，DINO 得分提高了 9.6 分，当对所有参数进行微调时，HiFi Tuner 在 CLIP-T 得分上提高了 1.2 分，在 DINO 得分上提高了 1.2 分，达到了新的技术水平。

    Nov, 2023

  • HFT: 大型语言模型的半微调

    通过定期重置部分参数，半精调可以恢复一些原始知识，并且在大规模语言模型中减轻了遗忘问题，同时在一系列下游基准测试中取得了最佳性能。

    Apr, 2024

  • 精调预训练大型语言模型中的稀疏是足够的

    通过研究下游领域的损失函数从随机初始化到预训练初始化的变换，本文揭示了参数梯度稀疏性的特性，提出了基于梯度的稀疏微调算法 Sparse Increment Fine-Tuning (SIFT)，并在多个任务上验证了其有效性。

    Dec, 2023

  • LLM 表示的本地微调：LoFiT

    这篇论文介绍了一种名为局部微调的框架（LoFiT）的方法，该方法通过识别对于特定任务学习最重要的一小部分注意力头，然后训练偏移向量添加到模型的隐藏表示中，从而有效地调整了大型语言模型的表示，用于适应指定任务，相比表示干预方法，LoFiT 的干预向量在提高模型真实性和推理任务上更加有效。

    Jun, 2024

  • AdaFish：利用二阶信息进行快速低秩参数高效微调

    介绍了一种高效的 AdaFish 算法，用于加快在低秩分解为基础的微调框架中的训练过程，该算法证明了全局收敛性和迭代 / 预言机复杂性，并通过数值实验与 AdamW 方法进行了竞争性比较。

    Mar, 2024

  • 预训练语言模型的参数高效微调方法：关键评估与考察

    预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

    Dec, 2023

  • TAIA：大型语言模型的非分布式数据学习者

    通过细调参数和推理时干预的 Transformer 模型，能够在数据匮乏的领域中提高大语言模型的性能。

    May, 2024

  • 超调：大型语言模型的自适应调节方法，无需借助反向传播算法

    本文提出了 HyperTuning 方法用于模型适应，可以生成特定任务的参数并在大量多样化语言任务上进行多任务微调。通过在 P3、MetaICL 和 Super-NaturalInstructions 数据集上的表现，证明该方法可以有效地为新任务生成参数，并改善性能。

    Nov, 2022

  • 用于大型预训练语言模型参数高效微调的神经架构搜索

    探讨了一种基于网络剪枝的高效的神经架构搜索方法用于学习预训练模型的参数优化方法 (Parameter-efficient tuning)，并在 GLUE 上的实验结果表明算法的有效性以及 PET 网络结构设计的实际表现。

    May, 2023