Apr, 2023

Chameleon：大型语言模型的即插即用组合推理

PDF
TL;DR本文提出了 Chameleon 框架，该框架通过在 Large language models（LLMs）上加上合成程序的方式来提高 LLMs 的能力，特别是在处理需要精确数学推理、使用外部工具或获取最新信息的任务时。作者通过使用科学问题答案（ScienceQA）和网页表格解析（TabMWP）两个任务来展示 Chameleon 的效率和适应性，结果表明 Chameleon 可以在这些任务上显著提高模型的准确率，并且使用 GPT-4 作为规划器可以更加稳定和合理地选择工具，并推断给定指令的潜在约束。
large language modelschameleoncompositional reasoningscienceqatabmwp
发现论文，激发创造
  • 变色龙：混合模式早期融合基础模型

    Chameleon 是一种早期融合的基于令牌的混合模态模型系列，能够理解和生成任意顺序的图像和文本。它在图像问答、图像描述、文本生成、图像生成和长格式混合模态生成等任务上展现了广泛和通用的能力，包括在图像描述任务中达到了最先进的性能水平，同时在纯文本任务中超越了 Llama-2，与 Mixtral 8x7B 和 Gemini-Pro 等模型竞争，并且能够生成非平凡的图像，所有这些能力都集成在一个模型中。它还在全新的长格式混合模态生成评估中，通过人类评判匹配或超越了更大模型，包括 Gemini Pro 和 GPT-4V，该评估中的提示或输出包含混合的图像和文本序列。Chameleon 在统一建模完整多模态文档方面迈出了重要的一步。

    May, 2024

  • 将大型语言模型与逻辑编程相结合，从文本中进行稳健和通用的推理

    本研究探讨大型语言模型在自然语言推理任务上的表现。通过使用少量样本指导大型语言模型进行任务适应，以及可应用于多个任务的可重用的知识模块，结合逻辑形式输入的答案程序，实现了在多项 NLP 基准测试上的最新性能，包括 bAbI，StepGame，CLUTRR 和 gSCAN，并成功解决了机器人规划任务，而大型语言模型单独无法解决。

    Jul, 2023

  • MAgIC: 大型语言模型驱动的多智能体在认知、适应性、合理性和协作方面的基准测试

    这项研究介绍了一个专门用于评估大型语言模型在多主体环境中能力的基准测试框架，通过游戏和博弈论场景来创建不同的测试环境，并利用概率图模型方法增强模型的导航能力，最终量化评估了七种不同大型语言模型的能力，发现最强模型 GPT-4 和最弱模型 Llama-2-70B 之间存在三倍的能力差距，同时证实了概率图模型增强了所有模型的能力，平均提高了 50%。

    Nov, 2023

  • 大型语言模型的概念模型解释器

    探索性研究应用代码生成和解释器，将概念模型以文本形式生成并使用最新的大型语言模型（如 Llama~2 和 ChatGPT 4）进行自动渲染，在对话界面中支持模型的迭代建模。

    Nov, 2023

  • 基于 LLM 的数据增强方法提升跨语言表现

    本研究探讨了利用大型语言模型进行数据增强在跨语言常识推理数据集中的潜力，通过使用包括 Dolly-v2、StableVicuna、ChatGPT 和 GPT-4 在内的大型语言模型来扩充三个数据集，确定了该方法的有效性，并比较了使用英语生成数据和将英语生成的数据翻译成目标语言。实验结果表明，使用 GPT-4 生成的合成数据进行训练的性能比其他模型优秀，ChatGPT 和 GPT-4 在大多数语言中生成的自然文本效果非常好，但在某些情况下，它们的效益会下降。

    May, 2023

  • 大型语言模型级联与思维混合表达用于高效推理

    通过构建 LLM 级联模型来实现节约成本，特别是在推理任务中的使用，通过应用弱一些但更便宜的 LLM 来解决简单问题，只有复杂问题才需要更强大且更昂贵的 LLM，实现这种决策的关键是通过检查较弱 LLM 的 “答案一致性” 来判断问题的难度，并提出了几种答案采样和一致性检查的方法，其中有一个利用了两种思考表示（Chain-of-Thought 和 Program-of-Thought）的混合方法，在六个推理基准数据集上的实验证明，我们的 LLM 级联模型可以达到与单独使用更强大的 LLM 相当的性能，但仅需 40% 的成本。

    Oct, 2023

  • 变色龙：一种用于检索增强语言模型的异构和解聚加速器系统

    创建了一种名为 Chameleon 的异构加速器系统，利用分体架构整合了语言模型和信息检索加速器，实现了对于不同的 Retrieval-Augmented Language Model 系统需求的高效加速，并在性能上取得了显著的提升。

    Oct, 2023

  • 通过调整和多分支推理增强低参数 LLMs 的普通代理能力

    通过构建特定于代理的数据和有监督微调模型，以及设计有效激活大型语言模型推理能力的提示方法，我们提出了一种综合的方法来提高大型语言模型作为代理的性能，并通过在 AgentBench 的五个代理任务上的评估取得了令人满意的结果。

    Mar, 2024

  • 评估领先的大型语言模型在推理生物学问题中的潜力

    该研究评估了领先的大型语言模型（LLMs），包括 GPT-4、GPT-3.5、PaLM2、Claude2 和 SenseNova 对概念生物学问题的回答能力。结果表明，GPT-4 在逻辑推理方面表现出色，并具备数据分析、假设生成和知识整合等能力，从而有望在生物学研究中发挥作用，但还需要进一步的发展和验证。

    Nov, 2023

  • CHATGPT 与语言模型的比较分析

    本文比较了 ChatGPT 在自然语言处理领域中，在机器翻译、文本摘要、问答和语言生成等方面的表现，并使用自由质量（SQ）分数与每个类别中的主要算法进行了比较。通过有效的验证策略，安全性和可大规模采用 LLM 的示例总结了该论文的观点和结果。

    Mar, 2023