面对Token危机下放大LLM：重复还是不重复的思考
本文研究大型语言模型中反复数据对性能的影响机理，并发现了一个强烈的双下降现象，即重复数据可能导致测试损失在训练中途上升。实验表明，反复数据对模型的性能造成了明显的损害，可能会导致模型从泛化到记忆出现转移。
May, 2022
本研究考察了在数据受限的情况下缩放语言模型的方法以及采用重复数据进行训练的效果，并提出了可衡量计算优化性的缩放规律，并尝试通过增加训练数据或去除常用过滤器等方式缓解数据稀缺问题。
May, 2023
通过预先训练模型的嵌入，精心选择数据可加速训练并提高自然语言处理任务的下游准确性，进而对语言模型的预训练方法和性能产生质疑，并展示了在超大规模模型上持续改进模型的可能路径。
Aug, 2023
大型语言模型(Large Language Models) 在指令或人类反馈方面很难进行全面的微调，但参数高效稀疏微调(sparse fine-tuning)的方法已经在性能上取得了一定的成果，本文将稀疏微调方法扩展到像LLaMA 2 7B和13B这样的最先进的LLMs，实验证明对指令调整进行稀疏微调通常比流行的参数高效微调方法如LoRA表现更好，并且在运行时间上可比较。
Jan, 2024
大语言模型的微调方法的缩放因子对模型性能的影响的系统实验结果表明，LLM finetuning 遵循微调数据量与其他缩放因子之间的幂函数乘法联合缩放规律，LLM 模型尺寸的扩大比预训练数据尺寸的扩大对 finetuning 更有益处，而仅考虑参数缩放的效果通常并不明显，同时最优的 finetuning 方法与任务和微调数据相关联，这些结果对于选择和开发 LLM finetuning 方法具有指导意义。
Feb, 2024
使用以预训练大型语言模型（LLM）为基础的LLM2LLM方法，通过数据增强和迭代，显著提高LLM在低数据情况下的性能，优于传统的微调和其他数据增强方法，减少了对数据策划的依赖，为更可扩展和高性能的LLM解决方案铺平了道路。
Mar, 2024
通过详细分析不同预训练模型中的不同能力表现，我们确认了特定下游指标在不同大小的模型中展示相似的训练动态，多达670亿参数。此外，我们还复现了Amber和OpenLLaMA，并发布了它们的中间检查点，以为研究界提供宝贵的资源，促进对开源研究人员的LLM预训练进行验证和探索。此外，我们提供了不同模型和能力的性能比较以及不同训练阶段的关键指标指导的实证总结。基于这些发现，我们提供了一种更用户友好的评估优化状态的策略，为建立稳定的预训练流程提供指导。
Apr, 2024
最近，大型语言模型广泛应用于各种任务，对于如何扩展语言模型对其性能的影响的研究引起了越来越多的关注。本文提出了新概念的时间缩放定律，并研究了语言模型在时间维度上的损失。研究发现，尽管存在损失不平衡，语言模型在不同的令牌位置上学习是均匀的。通过在各种规模的预训练语言模型上进行的实验验证了这一现象，并提供了对预训练语言模型更深入的理解。
Apr, 2024
本研究解决了大型语言模型（LLM）在性能优化和资源消耗方面的挑战。通过系统文献综述，提出了多种方法来加快LLM的训练和推理，同时保持准确性。研究表明，可以在不损失性能的情况下，显著降低计算和内存成本，推动LLM的广泛应用。
Sep, 2024