llm training | BriefGPT - AI 论文速递

关键词llm training

搜索结果 - 7

Pipette: 大规模自动细粒度语言模型训练配置器用于真实世界集群
Pipette 是一个针对现实世界集群的自动细粒度 LLM 训练配置器，通过设计更好的性能模型、内存估计器和细粒度的个别 GPU 分配，Pipette 在满足内存约束条件下实现更快的配置，并且相比现有技术提供了显著的加速。
PDFa month ago
释放大型语言模型在数据科学中预测表格任务的潜力
利用大型语言模型（LLMs）解决数据科学中与表格数据相关的预测任务的研究，通过创建一个包含注解指令的综合数据集来对 LLM 进行大规模训练，研究应用训练好的模型在零样本预测、少样本预测和上下文学习场景中的实际应用，并通过实验证明该方法在表格
PDF3 months ago
LAB：ChatBots 的大规模对齐
使用 LAB（大规模对话机器人对齐）方法解决大型语言模型（LLM）训练中的可扩展性挑战，通过基于分类法的合成数据生成和多阶段调整框架，减少人工标注和专有模型的依赖，LAB 训练的模型在多个基准测试上表现出与传统人工标注或 GPT-4 生成的
PDF4 months ago
高效模型用于仇恨、虐待和亵渎的检测
本文简要介绍了 HAP 检测器的创建以及使用它们的各种方式，以使模型的输出变得公正、可接受，从而为大型语言模型、自然语言处理、仇恨、滥用和亵渎的检测提供了重要组成部分。
PDF5 months ago
训练大型语言模型的梯度计算的细粒度复杂度
大型语言模型的训练可以通过前向计算和后向计算来实现，前向计算可以被视为注意力函数的评估，后向计算可以被视为梯度计算。本文证明了在某些参数范围内前向计算可以在几乎线性的时间内完成，但在其他参数范围内，除非流行的假设 SETH 是错误的，否则没
PDF5 months ago
ACL大型语言模型编辑错误检测：一个改进的细节基准
该研究扩展了现有的 CounterFact 基准来包含动态因素，并通过基于 KL 散度的度量衡量特异性，发现了模型编辑技术可能导致的大规模不良副作用，表明需要改进的特异性基准来识别和预防不良副作用。
PDFa year ago
或许只需要 0.5% 的数据：低训练数据指令调优的初步探索
本文介绍了一种名为 Low Training Data Instruction Tuning (LTD Instruction Tuning) 的方式，从减少数据使用、优化任务性能、优化指令调整类型和使用任务特定模型等方面，降低大型语言模型
PDFa year ago