Dec, 2022

利用预训练语言模型的快速调优竞赛解决方案技术报告

PDF
TL;DR本报告是关于在预训练语言模型中应用黑盒调整以进行 few-shot 学习的研究。 我们提出了基于 LMaaS 场景的解决方案，包括多标签词、P0 选择、滚动更新策略、MLP 分类器的多任务损失以及使用集成方法进一步提高广义化能力。 最后，我们提出了有关 SNLI 数据集对结果影响的问题，以及我们对比赛的担忧。
large pretrained language modelsblack-box tuningfew-shot learninglmaas scenarioensemble method
发现论文，激发创造
  • 语言模型即服务的黑盒调整

    本文提出黑盒优化框架来通过无导数优化预定义的任务提示，从而在使用预训练语言模型的服务化环境中实现更好的性能。在随机生成的子空间中进行优化，使得黑盒优化框架可以在 RoBERTa 上优化任务提示，并在少量标记样本上显着优于手动提示和 GPT-3 的上下文学习以及梯度优化方法。

    Jan, 2022

  • L-TUNING：LLM 中的 Prompt 和 Prefix 同步标签调整

    传统方法在对大型语言模型（LLMs）进行任务微调时面临着挑战。这篇论文介绍了一种名为 L-Tuning 的有效微调方法，专为自然语言推理（NLI）框架中的分类任务而设计，通过对预训练 LLM 进行标签令牌的微调，从而改善模型的训练效果和分类准确度，并提高训练效率。

    Dec, 2023

  • 让预训练语言模型成为更好的少样本学习者

    LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

    Dec, 2020

  • 用对比提示调整使预训练语言模型成为端到端的小样本学习模型

    CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

    Apr, 2022

  • 基于提示的黑盒调参：从三个正交视角提高模型的泛化能力

    本文提出 BBT-RGB, 一套用于提高黑盒优化效率和性能的简单而相辅相成的技术。我们的实验结果表明，该方法在各种自然语言理解和推理任务中具有很好的有效性。

    May, 2023

  • BBTv2：走向基于大语言模型的无梯度未来

    本研究介绍了改进版本的黑盒调参法 BBTv2，将连续的提示优化到每一层的预训练模型中，并提出了一种分治的无梯度算法，以可比的性能在少样本学习下替代全模型调参和其他方法。

    May, 2022

  • 优化预训练语言模型加速专题投资

    Prompt Tuning 对我们通常用 Pretrained Language Models 进行的多标签文本分类任务有着更好的性能和计算效率。

    Sep, 2023

  • 可靠的免梯度和免似然函数提示调整

    本文提出了一种适应预训练语言模型的技术，这种技术在只有 API 访问的情况下，通过软提示调整的方法进行微调，并且不需要访问 PLM 的任何内部表示，同时学习的提示分布可以量化预测的不确定性。通过大量实验证明这种方法可以和基于梯度的完全访问 PLM 方法相竞争甚至超过它们。

    Apr, 2023

  • MPrompt: 多级提示调优在机器阅读理解中的探索

    该研究提出了一种多级提示调优方法来增强机器阅读理解，通过利用任务特定、领域特定和上下文相关的提示，提高了输入语义在不同层次上的理解能力。同时，引入了独立性约束来避免冗余，并利用上下文相关知识生成合适的提示。在各种问答格式的 12 个基准测试中进行了广泛实验，相比最先进的方法，平均改进率达到了 1.94%。

    Oct, 2023

  • 模型调整还是提示调整？针对临床概念和关系提取的大型语言模型研究

    开发用于大型语言模型的软提示学习算法，研究词干的形状、使用冻结 / 非冻结语言模型进行文字调优、迁移学习和少样本学习的能力。

    Oct, 2023