large language model alignment | BriefGPT

关键词large language model alignment

搜索结果 - 5

ICML通过 Nash 学习和自适应反馈进行语言对齐
借助 Nash 学习和自适应反馈的语言对齐算法（LANA）消除了学习偏好模型或存在注释数据集的需求，实现了大规模语言模型对齐的自我对齐能力。
PDF14 days ago
真实为贵：将大型语言模型与在线人类行为对齐
本文提出了一种对齐框架，名为人类行为强化学习（RLHB），通过直接利用真实的在线人类行为来对齐大型语言模型，并采用生成对抗框架训练生成器按照预期的人类行为进行回复，鉴别器则验证查询、回复和人类行为三元组是否来自真实的在线环境，在自然语言形式
PDF2 months ago
广泛的自对比使得无需反馈的语言模型对准
通过利用自动生成的负例，自我对比是一种无需依赖人类反馈的大型语言模型对齐方法，仅通过有监督的微调目标，利用语言模型本身生成大量多样化的候选，并根据文本相似性使用预训练的嵌入模型筛选多个负例，实验证明在此设置下，仅通过缩放负响应仍可以有效地近
PDF3 months ago
万灵草: LLMs 的 Pareto 对齐通过偏好适应
Panacea 是一种创新的方法，将对齐视为多维偏好优化问题，使用奇异值分解（SVD）的低秩适应来引导模型行为，从而无需进一步调整，实现了有效和高效地对齐模型以适应多样化和复杂的人类偏好。
PDF5 months ago
MULTIVERSE: 在多样世界中揭示大型语言模型的对齐问题
我们发现大型语言模型在不同环境下存在不同程度的对齐问题，并通过构建多个上下文（称为世界）并利用相应的编译器，低成本地暴露潜在的对齐问题，从而进行大规模的对 LLM 对齐问题的研究，结果表明我们的方法在效果和效率上优于现有的破解技术。此外，我
PDF5 months ago