Apr, 2024

使用忠实、简洁和可传递的原理教授 MLLMs

PDF
TL;DR在这项研究中，我们引入了一种名为 Fact 的新范式，旨在生成忠实、简洁和可传递的多模态理由，通过可验证的视觉编程生成可执行的代码，从而增强了它的忠实性和精确性，并通过剪枝、合并和桥接等一系列操作提高了简洁性，同时通过过滤可以从编程范式传递到端到端范式的理由来保证可传递性，实验证据表明我们的方法在各种参数大小的模型上都表现出优异的组合推理和泛化能力，而且由于图像和文本之间的高相关性，我们的方法还减少了错觉。
multimodal large language modelsopaque naturefact paradigmverifiable visual programmingcompositional reasoning
发现论文，激发创造
  • 大型语言模型逻辑推理的教学学习

    通过对大型语言模型的研究，我们发现它们在逻辑推理方面存在缺陷，导致其在任务解决中产生反事实的答案。为了解决这个问题，我们提出了多种策略，赋予大型语言模型逻辑推理能力，从而使其能够在不同场景中生成更符合逻辑的答案。我们还通过构建一个综合数据集 (LMM-LR) 对该方法进行了评估和预训练。在不同任务上进行了广泛的定量和定性分析，验证了通过逻辑训练大型语言模型的有效性和必要性，并为将来的工作提供了启示。

    Oct, 2023

  • 评估 LLM Rationale 的人类对齐度和模型忠实度

    我们研究了大型语言模型（LLM）如何通过原因来解释其生成的模式，它们是从输入文本中提取出来的一组标记，反映了 LLM 的决策过程。我们使用两种方法提取 LLM 原因：1）基于归因的方法使用注意力或梯度来定位重要的标记，以及 2）基于提示的方法使用提示来引导 LLM 提取原因。通过广泛的实验，我们展示了基于提示的原因与人工注释的原因更好地对齐，即使模型性能差，也能合理地与人类对齐。此外，我们还发现基于提示的方法的忠实度限制可能与它们的折叠预测有关。通过在相应的数据集上微调这些模型，无论是提示方法还是归因方法都展现了更好的忠实度。我们的研究为更严格和公正地评估 LLM 原因提供了启示，尤其是基于提示的方法。

    Jun, 2024

  • 通过概率推理实现逻辑一致的语言模型

    通过引入基于原则的概率推理训练目标，本研究改进了大型语言模型的逻辑一致性和新知识推理能力。

    Apr, 2024

  • 对大型语言模型作为知识密集型任务的合理化特征的刻画

    大型语言模型能够在缺乏任务特定监督的情况下生成流畅的文本，但其在具有知识密集型任务中提供有根据的解释的能力仍未得到充分探索。我们通过使用专家编写的几个样本，以少量样本的方式生成基于知识的解释来解决这一问题。通过研究发现，众包工作者更喜欢基于知识的解释，因为它们具有实际性、充分性和全面的反驳。虽然大型语言模型生成的解释更受欢迎，但需要进一步提高简明性和新颖性。另外，我们还展示了错误模型预测的解释如何削弱人类对大型语言模型生成的解释的信任。基于这些观察的动机，我们创建了一个两阶段的流程，在生成解释之前审查任务预测并消除潜在的错误决策，以实现可信赖的解释生成。

    Nov, 2023

  • 大型语言模型中最小化事实不一致和幻觉

    提出了一个多阶段的框架，通过生成合理的依据并验证修正错误，将其作为支持参考生成答案，提高了 GPT-3.5-turbo 在生命科学行业药物相关查询中的响应质量。该框架使得 GPT-3.5-turbo 对两个数据集的答案更可靠和准确，并通过与商业模型进行竞争，提高了小型开放访问的 LLMs 的准确性。

    Nov, 2023

  • 有意义的学习：通过通用事实指导提升大型语言模型的抽象推理能力

    我们设计了一个初步的研究，以量化和深入探讨现有大型语言模型的抽象推理能力。我们的结果显示，我们的方法不仅提高了大型语言模型的一般推理性能，而且在抽象推理能力方面取得了可观的进展，从简单的记忆或模仿转向了更加精细的对通用事实的理解和应用。

    Mar, 2024

  • 通过多智能体辩论提高语言模型的事实性和推理能力

    该论文介绍了一种新方法，即通过多个语言模型实例的反复辩论和推理过程，以达成一个共同的最终答案，从而改善语言响应的表现，特别是在数学和策略推理方面，改善了已有模型中一些常见问题，如虚假答案和幻觉现象，并有望显著提高大型语言模型的性能和开拓语言生成和理解领域。

    May, 2023

  • 非言语抽象推理的研究：多模态大型语言模型的好奇之境

    通过 Raven's Progressive Matrices 的变种，评估开源和闭源的多模态大型语言模型（MLLMs）的非语言抽象推理能力，发现了解决这类问题的困难以及开源和闭源模型之间巨大的差距，并揭示了个别视觉模块和文本模块的关键缺陷，最后通过 Chain-of-Thought 提示等方法，以显著提升模型性能（最高达 100%）。

    Jan, 2024

  • CORE-MM: 多模态大型语言模型的复杂开放式推理评估

    我们手动策划了一个专为多模态大型语言模型（MLLMs）设计的基准数据集，重点关注复杂推理任务，通过评估中间推理步骤来准确测量其推理能力。

    Nov, 2023

  • TinyLLM: 从多个大型语言模型中学习一个小型学生

    通过知识蒸馏，从多个大型教师语言模型中学习小型学生语言模型 TinyLLM，以解决当前方法存在的知识多样性有限和缺乏丰富的上下文信息等问题，并通过引入上下文示例生成器和 teacher-forcing 链式推理策略来确保合理的推理基于适当情境，从而在两个推理任务的六个数据集上的广泛实验中展示了 TinyLLM 方法的优越性，结果表明尽管模型尺寸较小，但 TinyLLM 可显著优于大型教师语言模型。

    Feb, 2024