alignment performance | BriefGPT

关键词alignment performance

搜索结果 - 8

上下文对齐能走多远？探索上下文对齐的现状
通过分析 In-Context Alignment（ICA）的机制和适用性，本研究发现示例部分对提升模型对齐能力至关重要，同时还评估了 ICA 在不同对齐任务中的零 - shot 能力，结果显示相较于参数微调方法，ICA 在基于知识和工具应
PDF17 days ago
ContraSolver: 通过解决内部偏好矛盾自我对齐语言模型
通过构建偏好关系的图结构，并使用自我注释来找出偏好排序中的矛盾，我们提出了 ContraSolver 算法，通过遍历图上的边识别可能导致矛盾的边，并优先解决低置信度的偏好。我们的实验证明通过完全无监督的自我对齐可以大大提高不同大型语言模型的
PDF21 days ago
大规模语言模型的惰性安全对齐防止有害微调
通过精细调整的安全对齐技术，解决了大型语言模型在混合有害数据的数据集上进行微调后可能出现的问题，提出了一种双状态优化解决方案，引入了近端项来限制状态的偏移，实验证明这种方法可以显著提高对齐性能并保持用户任务上的准确性。
PDFa month ago
在线自好的语言模型
借助自主生成的响应对和自我评定的偏好强度信息，我们提出了在线自主偏好（OSP）语言模型来学习，展示了利用偏好强度是关键避免过度拟合和增强对准性能。OSP 在两个广泛使用的人类偏好数据集中实现了最先进的对准性能，而且在有限的离线数据和跨领域任
PDFa month ago
优先噪声对生成式语言模型对齐性能的影响
本文提出了一种注入不同类型和量级噪声的偏好框架，并在两个任务（文摘和对话生成）中系统地研究了偏好噪声对齐性能的影响。我们发现偏好数据中噪声率的增加会导致对齐性能的显著下降，并提出基于置信度的数据过滤方法以减少噪声的影响。我们希望这项工作可以
PDF3 months ago
提高基于人类反馈的强化学习效果的高效奖励模型集成
采用奖励集成方法，我们研究如何改进 Reinforcement Learning from Human Feedback (RLHF) 模型对人类价值观的对齐效果，通过使用多个大型语言模型的奖励模型集成，提高了 RLHF 输出的对齐性能。
PDF5 months ago
超越逆向 KL：通过多样的散度约束泛化直接偏好优化
在人类意见反馈上的强化学习和多样化的分歧约束下，使大语言模型（LLMs）能够更高效地与人类偏好相一致，从而改善对齐性能。
PDF9 months ago
KDD通过图增强改进知识图谱实体对齐
本篇论文提出了一种基于图增强的新颖实体对齐方法 GAEA，结合实体 - 关系编码器和图扩充的方法来消除 KG 的结构异质性，进一步提高模型的对齐效果。
PDFa year ago