ai feedback | BriefGPT - AI 论文速递

关键词ai feedback

搜索结果 - 8

ARES：交替强化学习和监督微调，通过多样化的 AI 反馈提升多模态链式思维推理
大型多模型 (LMMs) 在理解人类指令方面表现出色，并在各种任务中展现出显著的结果。通过强化学习来自人类反馈 (RLHF) 和人工智能反馈 (RLAIF) 进一步完善了 LLMs，通过将其与特定偏好对齐。我们提出了一种两阶段算法 AREA
PDF9 days ago
多目标强化学习从 AI 反馈
多目标强化学习（MORLAIF）通过使用 AI 反馈强化学习来改善语言模型的对齐和性能，将这一任务分解为多个简单的原则，如毒性、客观性和谄媚，并使用 GPT-3.5-Turbo 的反馈进行各原则的偏好模型训练，然后利用不同的标量化函数将这些
PDF23 days ago
对于多样化任务和模型规模的鲁棒学习的对称强化学习损失
通过从有噪声数据中借鉴逆交叉熵（RCE）的方法将其适应于强化学习，定义了一种对称的 RL 损失，从而提高了 RL 训练的稳定性。在离散动作任务（Atari 游戏）和连续动作空间任务（MuJoCo 基准和 Box2D）中进行了实验，并通过改进
PDFa month ago
对大型语言模型对齐的 AI 反馈的关键评估
强化学习与 AI 反馈（RLAIF）是改进强大的预训练语言模型的指令遵循能力的流行范式。我们提出了一个问题，即对于 AI 反馈来说，这个 RL 步骤的复杂性是否真的有必要。我们发现，RL 步骤的改进主要归因于使用比用于 AI 反馈生成的评论
PDF4 months ago
通过 AI 反馈实现质量与多样性
通过 AI 反馈引导的 QDAIF 与非 QD 控制组相比，在创意写作领域覆盖更大范围，生成高质量样本；同时，QDAIF 生成的创意文本经人工评估验证与人类评估具有合理的一致性，突显了 AI 反馈在引导开放式创意搜索方面的潜力。
PDF8 months ago
利用自我博弈和从 AI 反馈中学习的上下文增强语言模型的协商技能
本文研究了大型语言模型之间在协商游戏中通过玩耍、反思和批判是否能自主地相互提高。我们使用不同的 LLMs (GPT 和 Claude) 来不同的角色，使用交易价格作为评估指标，让两个代理商进行多轮游戏，使用先前的谈判历史和 AI 反馈作为上
PDFa year ago
通过人工智能反馈提高对比学习句子嵌入
CLAIF 方法：利用大型预训练语言模型的人工智能反馈来构建有细粒度样本相似度得分的样本对以改善对比学习，并结合人工反馈和 AI 反馈提供更好的训练信号，实验结果显示在语义文本相似性和迁移学习任务上，与其他半监督和监督对比学习方法比较，CL
PDFa year ago
弥合断层：自然语言生成中融入（人类）反馈的调查
本文对利用人类反馈来提高自然语言生成的研究进行了综述。通过介绍反馈的形式和目标，讨论了直接使用反馈或训练反馈模型两种方法在训练和解码过程中的应用。此外，我们还探讨了与反馈收集相关的现有数据集和问题，并提供了人工智能反馈领域的概述。
PDFa year ago