BriefGPT.xyz
大模型
Ask
alpha
关键词
alignment tax
搜索结果 - 3
在线合并优化器用于提升回报和降低税额的对齐
通过在线合并优化器,在人类反馈强化学习中持续调节训练方向,实现大语言模型的高性能表现和对齐奖励的显著提升,同时减小对齐成本。
PDF
a month ago
ACL
分散 - 合并:通过减少对齐税来推动指令调优的极限
通过我们的研究,我们提出一个假设:数据偏差可能是大型语言模型在细调过程的后期出现性能下降的原因之一。为了解决这个问题,我们引入了一个简单的分散然后合并的框架。尽管简单,我们的框架在一系列标准的知识和推理基准测试中优于各种复杂的方法。
PDF
a month ago
弹性重置的语言模型对齐
使用弹性复位算法对语言模型进行微调,以在获得更高奖励的同时减少语言漂移,达到最佳性能。
PDF
7 months ago
Prev
Next