Dec, 2023

参数高效调整实现 LLMs 的可扩展个性化：基于缩写扩展的案例研究

PDF
TL;DR缩写展开是一种通过限制打字量并使用语言模型建议展开来加快沟通的策略。本文研究了基于之前对话进行个性化的大型语言模型（LLM）建议，以增强预测的相关性，尤其是在用户数据较少（~1000 个样本）的情况下。我们比较缩写输入的 fine-tuning，prompt-tuning 和检索增强生成的扩展文本建议。我们的案例研究针对部署的 80 亿参数 LLM 与一个真实的患有 ALS 病的用户以及电影角色个性化方面的实验表明：（1）在某些场景下可能需要定制化，而 prompt-tuning 对这些场景具有很好的泛化能力；（2）在域内数据（仅有 600 个样本）上的 fine-tuning 仍然显示一些收益，然而（3）检索增强的少样本选择也优于 fine-tuning；（4）参数高效调整可以实现高效和可扩展的个性化。对于 prompt-tuning，我们还发现将学习的 “软提示” 初始化为与用户相关的概念标记比随机初始化能够获得更高的准确性。
abbreviation expansionpersonalizinglarge language model (llm)prompt-tuningfine-tuning
发现论文，激发创造
  • 利用大型语言模型进行上下文感知缩略语扩展

    为了加速严重运动障碍者在辅助和替代交流中的文本输入，我们提出了一种方法，该方法通过将短语缩写为主要的单词首字母来拓展缩写，利用预先训练的大型语言模型（LLMs）来利用会话上下文。通过在四个公共会话数据集上进行零样本、少样本和微调实验，我们展示 LLM 能够精确地扩展高达 70% 的缩写短语，包括具有长达 10 个单词的缩写短语。这种方法有效地节省了高达约 77% 的击键率。添加一个简短的会话回合的上下文比没有上下文的精确率高出一倍以上，这种效应在较长的短语中更为显著。此外，模型对于打字错误的鲁棒性可以通过在嘈杂的数据上进行微调来增强。

    May, 2022

  • 参数高效的 Prompt 调整使得神经文本检索器具有广义性和校准性

    本文介绍了一种基于 Prompt tuning 的神经文本检索方法，通过更新其中 0.1% 的参数，能够显著提高检索模型的泛化性能，在额外引入一份包括 87 个主题的来自学术领域的数据集的情况下，证明了这种检索方法的横向主题泛化性强于传统方法。

    Jul, 2022

  • 适应缺少样本的自然语言生成的比例调优

    本文研究了参数高效微调方法和少样本自然语言生成，提出了一个超越传统方法且在训练成本上没有明显增加的方法，同时通过中间实验证明了该方法在少样本场景中的卓越可迁移性，为数据不充足和计算有限的情况提供了解决方案。此外，综合比较了多种参数高效微调方法，揭示了在少样本自然语言生成任务中某些方法在挑战性数据集上可能存在困难。

    Sep, 2023

  • 当扩展与 LLM 微调相遇：数据、模型和微调方法的影响

    大语言模型的微调方法的缩放因子对模型性能的影响的系统实验结果表明，LLM finetuning 遵循微调数据量与其他缩放因子之间的幂函数乘法联合缩放规律，LLM 模型尺寸的扩大比预训练数据尺寸的扩大对 finetuning 更有益处，而仅考虑参数缩放的效果通常并不明显，同时最优的 finetuning 方法与任务和微调数据相关联，这些结果对于选择和开发 LLM finetuning 方法具有指导意义。

    Feb, 2024

  • 基于规模的参数高效提示微调技术的强大性

    通过 prompt tuning 机制，使用 backpropagation 学习 soft prompts 以提升 downstream tasks 的性能，其中 soft prompts 可以与多个 labeled examples 相结合，这种方法比 GPT-3 的 few-shot learning 更有效，并且在语言模型规模达到 10 亿以上时，method 的表现与 model tuning 相匹敌，而且具有更好的领域转移鲁棒性。

    Apr, 2021

  • 模型调整还是提示调整？针对临床概念和关系提取的大型语言模型研究

    开发用于大型语言模型的软提示学习算法，研究词干的形状、使用冻结 / 非冻结语言模型进行文字调优、迁移学习和少样本学习的能力。

    Oct, 2023

  • 通过提示微调控制大型语言模型中已记忆数据的提取

    本文采用提示调参的方法控制大型语言模型的记忆内容的提取率，通过基于 GPT-Neo 家族模型的公共基准测试，展示了我们的攻击和防御策略的有效性，实现了相对于基线的提取率增加和减少，最多可以相对于基线降低 97.7% 的提取率，附加的困惑度增加了 16.9%。

    May, 2023

  • L-TUNING：LLM 中的 Prompt 和 Prefix 同步标签调整

    传统方法在对大型语言模型（LLMs）进行任务微调时面临着挑战。这篇论文介绍了一种名为 L-Tuning 的有效微调方法，专为自然语言推理（NLI）框架中的分类任务而设计，通过对预训练 LLM 进行标签令牌的微调，从而改善模型的训练效果和分类准确度，并提高训练效率。

    Dec, 2023

  • 关于基于解码器的多语言模型跨语言提示调优的分析

    多语言模型中，通过参数高效微调和基于令牌的提示微调，令牌提示微调在所有语言上实现了与或更好的性能，对低资源语言的性能提升更为有效，这一现象与多语言模型的标记化方案有关。

    Nov, 2023

  • LLM-Rec：借助大型语言模型的个性化推荐

    通过输入增强措施，我们研究了各种提示策略来提高大型语言模型在个性化内容推荐中的性能。我们提出了一种名为 LLM-Rec 的方法，包括四种不同的提示策略：基本提示、推荐驱动的提示、参与驱动的提示和推荐驱动加参与驱动的提示。我们的实证实验证明结合原始内容描述和 LLM 生成的增强输入文本，使用这些提示策略可以改善推荐性能。这一发现强调了将多样的提示和输入增强技术与大型语言模型相结合以提高个性化内容推荐能力的重要性。

    Jul, 2023