BriefGPT.xyz
Ask
alpha
关键词
language model training
搜索结果 - 5
全球联合训练语言模型
通过联邦学习，在全球范围内构建联邦的语言模型训练系统 (WorldLM)，以解决大规模语言模型训练所面临的法律、安全、隐私等挑战，并通过局部模型本地化、残差层嵌入等方法，提升性能并保护隐私。
PDF
a month ago
ICML
通过基于代理的不确定性估计来改进语言模型的指令遵循
我们提出了一种新颖的具有不确定性感知的奖励模型（URM），通过贝叶斯近似法对配对响应的质量进行稳健的不确定性估计，从而解决了评估语言模型中指令响应质量的问题。实验结果表明，将提出的代理方法纳入语言模型训练对指令遵循能力有显著提升，通过改进数
→
PDF
2 months ago
只需一个字节（每梯度）：关于使用共享随机性进行低带宽分散化语言模型微调的注记
本研究提出了一种基于共享随机性的分布式微调方法，通过使用单字节的梯度交换，减少了通信成本，并保留了最近研究中的内存效率和推理优势。
PDF
a year ago
面向无摩擦极端多任务学习和评估的结构化数据集预处理注释
提出一种结构化注释框架和数据集注释，预处理语言模型训练和评估过程中的数据集以实现多任务训练或评估。通过该框架和注释，达到了减少预处理时间和提高效率的目的，并在所有任务中微调多任务文本编码器，表现出色。
PDF
a year ago
ICML
语言模型的预训练和微调目标的对齐
本文研究了语言模型训练中显式地将预训练目标与微调目标对齐，发现这种目标对齐能够显著提高微调任务的性能，并降低微调所需的最小样本量，从而使模型更加精简高效。作者称其为 Few Example learning，能够为实时应用和减少人工标注成本
→
PDF
4 years ago
Prev
Next