Sep, 2023

适应缺少样本的自然语言生成的比例调优

PDF
TL;DR本文研究了参数高效微调方法和少样本自然语言生成，提出了一个超越传统方法且在训练成本上没有明显增加的方法，同时通过中间实验证明了该方法在少样本场景中的卓越可迁移性，为数据不充足和计算有限的情况提供了解决方案。此外，综合比较了多种参数高效微调方法，揭示了在少样本自然语言生成任务中某些方法在挑战性数据集上可能存在困难。
large language modelsparameter-efficient fine-tuningfew-shot natural language generationscaled prompt-tuningtransferability
发现论文，激发创造
  • SPT：多任务提示学习的半参数提示调整

    SPT 是一种半参数化的提示微调方法，其包含一个内存库，可以根据离散提示检索记忆提示，并通过 Fine-Tuning GLUE 数据集以及在五个自然语言处理任务类别下评估零 - shot 泛化以及在 SuperGLUE 数据集上预训练，众多实验证明了其有效性。

    Dec, 2022

  • 跨语言迁移的软提示调整：少即是多

    通过插入可学习的嵌入或软提示到预训练语言模型 (PLM) 的输入层，Soft Prompt Tuning (SPT) 是一种将 PLM 调适到特定任务的参数高效方法，无需修改其参数。本文研究了 SPT 在跨语言传递中的潜力，并通过冻结模型参数并只训练软提示以保持 SPT 的参数高效性，不仅减少了计算成本和存储开销，还证明了这一特性能够增强对语言上远离的语言的跨语言传递性能。此外，我们还探索了与软提示相关的不同因素（如长度或重新参数化）对跨语言传递性能的影响。

    Feb, 2024

  • 少样本参数高效微调优于上下文学习且更为经济

    通过比较 Few-shot in-context learning 和 Parameter-efficient fine-tuning 的方法，我们证明 PEFT 具有更好的精度和极低的计算成本。我们提出了一种名为 (IA)$^3$ 的新的 PEFT 方法，并提出了一个基于 T0 模型的简单配方，称为 T-Few，在没有任务特定调整或修改的情况下可以应用于新任务。我们在 RAF 基准测试中验证了 T-Few 的有效性，首次达到了超人类表现，并超越了现有技术的 6％。

    May, 2022

  • 预训练语言模型的参数高效微调方法：关键评估与考察

    预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

    Dec, 2023

  • FPT：用于高分辨率医学图像分类的参数和内存高效微调的细粒度提示调整

    提出了一种用于医学图像分类的精细化提示调整（FPT）的参数高效调整方法，FPT 相较于其他参数高效调整方法明显降低了内存消耗，并通过引入精细化提示和重要标记选择等技术降低了训练成本和内存需求。

    Mar, 2024

  • 通过渐进式训练提高提示调整效率的 FPT 模型

    本论文提出了一种名为 Fast Prompt Tuning 的技术，通过将 partial PLMs 中的 soft prompts 转化到整个 PLM 中来提高 prompt tuning（PT）的训练效率，该技术的应用可以在保持性能的同时节省 30% 的训练计算资源。

    Nov, 2022

  • SPARSEFIT：稀疏微调的少样本提示，用于联合生成预测和自然语言解释

    本文提出一种名为 SparseFit 的算法，使用离散提示在几个可用的 NLEs 的情况下，只微调神经模型的 6.8％参数即可同时生成预测结果和高质量 NLEs，可取得与精细调整昂贵的 Pre-trained Language Models 相当的效果。

    May, 2023

  • 基于规模的参数高效提示微调技术的强大性

    通过 prompt tuning 机制，使用 backpropagation 学习 soft prompts 以提升 downstream tasks 的性能，其中 soft prompts 可以与多个 labeled examples 相结合，这种方法比 GPT-3 的 few-shot learning 更有效，并且在语言模型规模达到 10 亿以上时，method 的表现与 model tuning 相匹敌，而且具有更好的领域转移鲁棒性。

    Apr, 2021

  • 利用大型语言模型进行代码生成的参数高效微调技术探究

    通过对大规模语言模型进行参数高效微调技术的研究，本文在自动化代码生成场景下全面研究了这些技术对大规模语言模型的影响，实验结果表明这些技术在减轻计算负担和提高性能方面表现优越，为软件工程场景中的更广泛应用开启了机会。

    Aug, 2023

  • 让预训练语言模型成为更好的少样本学习者

    LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

    Dec, 2020