站在巨人冻结语言模型的肩膀上

Apr, 2022

Standing on the Shoulders of Giant Frozen Language Models

Yoav Levine, Itay Dalmedigos, Ori Ram, Yoel Zeldes, Daniel Jannai...

TL;DR提出了三种新方法：依赖输入的提示调整、固定读者和递归 LM，这些方法广泛改进了当前的固定模型方法。虽然每种方法的计算成本比现有的固定模型方法高，但仍然可以忽略不计，而且这些方法证明了固定模型具有未开发的潜力，而精细调整往往是不必要的。

Abstract

Huge pretrained language models (LMs) have demonstrated surprisingly good zero-shot capabilities on a wide variety of tasks. This gives rise to the appealing vision of a single, versatile model with a wide range of functionalities across disparate applications. However, current leading

pretrained language models frozen models input-dependent prompt tuning frozen readers recursive lms

发现论文，激发创造

模型调整还是提示调整？针对临床概念和关系提取的大型语言模型研究

开发用于大型语言模型的软提示学习算法，研究词干的形状、使用冻结 / 非冻结语言模型进行文字调优、迁移学习和少样本学习的能力。

Oct, 2023

Input-Tuning: 适应冻结预训练模型的不熟悉输入

本文提出了 input-tuning 的概念，旨在通过 fine-tuning 连续提示和输入表示来更有效地适应陌生的自然语言生成任务输入，实验证明它可以显著且一致地胜过 prompt-tuning。

Mar, 2022

使用冻结语言模型的临床提示学习

研究了 prompt learning 对临床应用决策任务的可行性，并与传统的微调方法进行了直接比较。结果部分符合 prompt learning 文献，提示学习能够在可训练参数更少和需要更少的训练数据的情况下与传统微调相匹配或改进，可以作为一种可替代越来越大的预训练语言模型微调的较低计算资源成本，适用于临床环境。

May, 2022

让预训练语言模型成为更好的少样本学习者

LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

Dec, 2020

个性化大型语言模型

该研究探讨了个性化调整和零 - shot 推理方法在主观任务上的应用，结果表明，与非个性化模型相比，个性化调整能够提高模型的推理能力，并在不同的大语言模型架构上实现了对情感识别和仇恨言论检测等数据集的一致性性能提升，这些发现凸显了个性化对于增强大语言模型在主观文本感知任务中的重要性。

Feb, 2024

大型语言模型在翻译中的多语言程度如何？

通过在平行文本上对大型语言模型 (LLM) 进行微调，新的机器翻译范式已被证明能够胜过使用大量平行数据以监督方式训练的专用翻译系统，然而，对于大规模多语言机器翻译，是否需要对少数语言对进行专门的模型微调仍然不清楚。本研究通过对 TOWER 系列语言模型在 132 个来自多语言平行数据 FLORES-200 的翻译任务上进行实证评估，发现翻译微调即使对于零样本语言平均而言也会提高翻译质量，但其影响因所涉及的语言对而异。这些结果呼吁进一步研究以有效实现大规模多语言翻译。

May, 2024

减少提示和参数：使用语言模型进行简单的小样本学习

使用少量训练示例和任务说明来训练语言模型对于几乎所有任务都很重要，本文提出在极小数据量情境下调整 LM 可显著降低提示工程需求，使用 0.1% 参数更新的 bias terms 可以实现与标准调整相当甚至更好的准确性。

Jun, 2021

针对特定领域机器翻译的大型语言模型微调

本文提出了一种基于提示的精调方法（LlamaIT），以实现对通用语言模型（LLM）在领域特定机器翻译任务中的有效和高效精调，并通过零样本提示与指令适应目标领域。结果表明，LlamaIT 能够显著提升 LLM 的领域特定机器翻译能力，同时保持其零样本机器翻译能力。

Feb, 2024

训练专家语言模型带来的益处：比指令调整更胜一筹

本文研究发现，相对于使用多个任务的 multitask-prompted fine-tuning 方法进行指导调整的语言模型，仅针对单个任务进行专家模型的 fine-tuning 能够使模型在 11 个不同的未知数据集上以及 13 个 BIG-bench 基准测试数据集上平均准确率分别提高 3.20% 和 1.29%。此外，分别训练每个专家模型而不是单个 MT LM 进行 zero-shot 推断具有许多好处，包括避免负面任务转移，能够持续学习新任务而无需重新训练以避免灾难性遗忘以及显示在合并单个专家时具有组合能力。

Feb, 2023

Prompt-Tuning 在使用多语言语言模型进行跨语言理解方面比 Fine-Tuning 更好

本研究研究了预训练多语言语言模型在零样本跨语言模型传递中的应用，使用 prompt-tuning 进行多语言 NLU 任务（包括句子分类、序列标注和问题解答）中的跨语言评估，并与传统的微调方法进行了比较。结果表明，prompt-tuning 在跨数据集跨语言传递方面比微调表现更好，而且只需调整 0.1% 到 0.3% 的参数。此外，分析表明，prompt tuning 可以在决策边界对齐更好的下游任务上具有更好的跨语言可传递性。

Oct, 2022