Jun, 2024

持续学习中 PEFT 技术的选择：调优并不是你所需要的全部

PDF
TL;DR本研究揭示了未经审查的 Prompt tuning 选择对持续学习系统的整体性能产生负面影响，使用 LoRA 替代 Prompt tuning 的变体在领域增量和类别增量基准上实现了更高的准确性，同时具有相似的推理速度。
发现论文，激发创造
  • 适应缺少样本的自然语言生成的比例调优

    本文研究了参数高效微调方法和少样本自然语言生成，提出了一个超越传统方法且在训练成本上没有明显增加的方法，同时通过中间实验证明了该方法在少样本场景中的卓越可迁移性，为数据不充足和计算有限的情况提供了解决方案。此外，综合比较了多种参数高效微调方法，揭示了在少样本自然语言生成任务中某些方法在挑战性数据集上可能存在困难。

    Sep, 2023

  • 晚阶段调优：晚期提示可能比诸多提示更好

    该研究提出了一种名为 Late Prompt Tuning (LPT) 的 PETuning 方法，它将追加的提示插入到 PTM 的中间层而非输入层或所有层，并通过一个神经提示生成器获得实例依赖的提示，具有更快的训练速度和更低的内存成本，可在全数据和少样本场景下实现与全模型调整和其他 PETuning 方法竞争的性能。

    Oct, 2022

  • 定制基础模型与低秩提示调适

    通过使用 “Low-Rank Prompt Adaptation”，我们提出了一种基于 prompt 调优的方法，它在可接受的参数效率下与最先进的 PEFT 方法和全面调优方法具有相当的性能，而且无需基于服务器的适配器。

    May, 2024

  • FeTT: 通过特征转换调整实现持续的类增量学习

    本文提出了一种名为特征转换调优（FeTT）模型，它通过非参数化地对骨干特征进行微调，实现了对所有任务的独立操作，并且能够平滑特征通道以避免过度抑制，结合不同的预训练模型进一步改善性能，实验证明了我们提出方法的有效性。

    May, 2024

  • 反思基于预训练模型的无需排练连续学习的现状

    探索了 P-RFCL（基于参数高效微调的 RFCL）方法在强大性能背后的驱动因素，揭示了其与最新的首任务自适应研究以及先前的 CL 标准之间的关系，并推动标准 RFCL 技术（如 EWC 或 SI）的发展。

    Jun, 2024

  • FL-Tuning: 基于 Transformer 前馈网络的层调整

    本研究提出了一种新型的调参方法，称为层调参，通过在 Transformer 层中添加可学习的参数来调整预训练语言模型，在 CLUE 基准数据集上的实验结果表明，FL-tuning 方法优于现有的 prompt tuning 方法，并且比 fine-tuning 方法更加稳定和快速。

    Jun, 2022

  • 通过渐进式训练提高提示调整效率的 FPT 模型

    本论文提出了一种名为 Fast Prompt Tuning 的技术，通过将 partial PLMs 中的 soft prompts 转化到整个 PLM 中来提高 prompt tuning（PT）的训练效率，该技术的应用可以在保持性能的同时节省 30% 的训练计算资源。

    Nov, 2022

  • 用对比提示调整使预训练语言模型成为端到端的小样本学习模型

    CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

    Apr, 2022

  • 不要停止预训练？使基于提示的微调更加强大的学习者

    本研究探讨了传统的预训练语言模型在特定任务下加以微调是否能提高性能的假设，并提出了基于提示的持续预训练方法 (PCP)。实验证明，相较于传统方法，PCP 在 21 个基准测试中表现更好。

    May, 2023

  • 提示调整的普适性和限制性

    研究预训练语言模型的 prompt tuning，从通用性和有限深度固定权重的预训练 transformers 的限制方面分析了 prompt tuning 的作用，证明了 prompt tuning 在有限深度 transformers 中存在限制，并给出了所需的可调 prompt 参数的下限。

    May, 2023