在资源匮乏环境中通过大型语言模型的微调进行文本数据增强
本文研究了不同的训练方法，使用预训练语言模型来进行文本分类。研究发现，在训练大型语言模型时，虽然标准微调和提示可以很好地运作，但是还有更有效的替代方法可以降低计算或数据成本。有趣的是，发现提示结合知识蒸馏可以同时降低计算和数据成本。
Oct, 2022
本文研究评估了三种不同的微调方法在七种不同的自然语言处理任务中的效果，结果表明数据增强可以有效提高微调后的模型性能，特别是在少样本学习任务中，持续的预训练可以将性能提高10%以上。
Jun, 2023
通过研究LLM生成的合成数据的表现与分类的主观性之间的关系，我们发现主观性对于模型训练的合成数据的性能具有负面影响，从而限制了利用LLM进行合成数据生成的潜力和局限性。
Oct, 2023
通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高LLMs的泛化能力和准确性的关键挑战仍未得到充分探索。
Dec, 2023
这篇论文研究了大型语言模型（LLMs）和它们经过微调后的变体之间的差异，尤其关注微调对LLMs内在泛化能力的影响。通过在不同任务和数据集上进行广泛的实验，研究发现微调应用于生成任务和分类任务的模型在泛化到不同领域和任务时表现出不同的行为，并且在生成任务的微调中整合上下文学习策略可以增强模型的泛化能力。通过这一系统性研究，旨在为LLMs的微调实践做出有价值的贡献。
Mar, 2024
使用以预训练大型语言模型（LLM）为基础的LLM2LLM方法，通过数据增强和迭代，显著提高LLM在低数据情况下的性能，优于传统的微调和其他数据增强方法，减少了对数据策划的依赖，为更可扩展和高性能的LLM解决方案铺平了道路。
Mar, 2024
在这篇论文中，我们通过对16个文本分类数据集进行大规模评估研究，比较了零样本和少样本的大型语言模型与微调较小语言模型在文本分类方面的表现。结果表明，更小且更高效的语言模型的微调仍然能胜过大型语言模型的少样本方法，在文本分类方面有改进的空间。
Mar, 2024
使用生成的大型语言模型生成的标签对监督文本分类模型进行微调，与使用人工标注的标签相比表现相当，是一种快速、高效和经济有效的构建监督文本分类器的方法。
Jun, 2024
使用大型语言模型产生合成数据以进行模型训练在近年来越来越流行。本研究专注于使用合成数据进行文本分类任务，通过在不同的生成方法上使用基于合成数据的自然语言理解模型来评估合成数据的质量，从而提供了对这些因素影响的经验分析，并提供了更好的数据生成实践建议。
Jun, 2024