Nov, 2023

通过自然语言反馈指导大型视觉语言模型与人类进行对齐和交互

PDF
TL;DR我们提出了 DRESS，一个大型视觉语言模型（LVLM），通过解决当前 LVLM 的两个关键限制，创新地利用来自大型语言模型的自然语言反馈（NLF）来增强其对齐和交互。
dressvision language modelnatural language feedbackalignment and interactionsmulti-turn interactions
发现论文，激发创造
  • 通过自然语言以人工反馈聚合大规模语言模型数据对齐

    通过模型中人类反馈的学习，改进大型语言模型（LLMs）的输出与人类期望的一致性，利用人类反馈信号中以响应对的排名形式的强化学习，研究使用自然语言反馈模型的数据效率，通过对 ChatGPT、BARD 和 Vicuna 等模型的反馈逐渐改进，提高了模型的响应质量。

    Nov, 2023

  • 通过合成反馈对齐大型语言模型

    本研究提出了一个新的框架，利用奖励建模 (RM) 方法和模拟高质量演示来进行对齐语言模型的训练，避免了对已对齐的 LLMs 的依赖，这种方法的结果是，我们的模型 ALMoST 在对 InstructGPT 或人工注释指令训练的开放源代码模型中表现良好，我们的 7B 大小的模型在使用 GPT-4 作为评判员的 A /B 测试中表现优异，平均获胜率约为 75％。

    May, 2023

  • 生成多样而且丰富的自然语言时尚评论

    本文针对多模态视觉与语言任务，提出了一种将深度生成编码器 - 解码器模型结合视觉注意力和最大互信息技术生成自然语言时装反馈的方法，并在公共设备 Echo Look 上进行了应用。

    Jun, 2019

  • ILLUME: 通过人类交互合理化视觉语言模型

    本研究旨在提出使用人与机器生成数据进行调整范例，以改进视觉语言模型的常识推理与人类意图的一致性，结果发现我们的 ILLLUME 方式可有效改善模型的推理能力，并仅需较少的训练数据以及极少数反馈。

    Aug, 2022

  • 通过强化学习将大型视觉语言模型细调为决策代理

    使用强化学习对视觉语言模型进行微调，提出了一种算法框架来增强其决策能力，验证了连续思维推理的重要性，并展示了在各种任务中超越商业模型的性能。

    May, 2024

  • 校准的自我奖励视觉语言模型

    大规模视觉 - 语言模型通过整合预先训练好的大型语言模型和视觉模型，通过自我奖励方法中引入视觉约束以减少幻觉，提高性能，在十个基准测试和任务中取得了 7.62% 的显著改进。

    May, 2024

  • Dr-LLaVA：基于符号临床基础的视觉指导优化

    我们提出了一种新的对齐算法，利用临床推理的符号化表示来将视觉语言模型 (VLMs) 与医学知识联系起来，从而生成与临床推理和诊断路径一致的多轮对话，并在多轮医学对话中展示出强大的性能。

    May, 2024

  • 对比式视觉 - 语言对齐提高指示学习效率

    通过将 Contrastive 和 Generative 方法应用于 ViT 和 LLM 的表示对齐，我们提出了 CG-VLM 模型，有效地实现了视觉 - 语言的对齐，成为一种高效的指令学习器。

    Nov, 2023

  • 稳定的 LLaVA：通过合成的图像对话数据增强视觉指导调整

    我们提出了一种新的数据收集方法，通过异步合成图像和对话以进行视觉指导调优，结合 ChatGPT 和文本到图像生成模型的能力，显著增强了多种模型功能。

    Aug, 2023

  • 纳什学习来自人类反馈

    通过带有人类反馈的强化学习，我们引入一种新的方法来提升大型语言模型的性能，通过学习人类偏好并优化策略，实现与人类偏好的协调。

    Dec, 2023