大型语言模型中高效利用学习

Apr, 2024

Token-Efficient Leverage Learning in Large Language Models

Yuanhao Zeng, Min Wang, Yihang Wang, Yingxia Shao

TL;DR通过引入 “Leverage Learning” 方法，我们实现了一种简化的实施方式，称为 “Token-Efficient Leverage Learning (TELL)”。TELL 展示了 Leverage Learning 的潜力，并在各种 LLMs 和低资源任务中展示了有效性，任务数据需求降低了近一个数量级，并且在与传统的监督微调 (SFT) 相比表现出有竞争力的性能。我们讨论了 Leverage Learning 的机制，提出它与量化假设相一致，并通过经验测试探索了它的潜在潜力。

Abstract

large language models (LLMs) have excelled in various tasks but perform better in high-resource scenarios, which presents challenges in low-resource scenarios. data scarcity and the inherent difficulty of adaptin

large language models leverage learning token-efficient leverage learning data scarcity low-resource tasks

发现论文，激发创造

在资源匮乏环境中通过大型语言模型的微调进行文本数据增强

通过细调教师大型语言模型产生和注释的数据，可以改善较小模型的下游性能，有时只需要原始训练数据的一小部分。

Oct, 2023

使用 PEFT 和合成数据增强低资源 LLMs 分类

提出了一种方法，使大型语言模型在 0-shot 文本分类任务中成为高效的文本分类器，并在低资源环境下获得了竞争性结果。

Apr, 2024

VeLoRA：使用排序 - 1 子标记投影的内存高效训练

通过梯度下降，我们确认了大型语言模型的有效模型收敛所需的重要组件，并提出了一种廉价且内存高效的算法来进行微调和预训练大型语言模型。

May, 2024

提升大型语言模型性能以更准确地回答问题和提取信息