通过基于状态空间模型的 VL-Mamba 多模态大语言模型和 2D 视觉选择扫描机制以及不同视觉编码器和预训练 Mamba 语言模型的组合的实证研究，我们证明了状态空间模型在多模态学习任务中具有巨大潜力，并展示了 VL-Mamba 在各种多模态基准测试中具有竞争力的性能。

Mar, 2024

在这项研究中，我们引入了一种名为 Fact 的新范式，旨在生成忠实、简洁和可传递的多模态理由，通过可验证的视觉编程生成可执行的代码，从而增强了它的忠实性和精确性，并通过剪枝、合并和桥接等一系列操作提高了简洁性，同时通过过滤可以从编程范式传递到端到端范式的理由来保证可传递性，实验证据表明我们的方法在各种参数大小的模型上都表现出优异的组合推理和泛化能力，而且由于图像和文本之间的高相关性，我们的方法还减少了错觉。

Apr, 2024

通过探索更加信息丰富的训练数据，本文演示了击败规模定律并训练出更小但更强大的轻量级多模态大语言模型 Bunny，其背后利用了灵活的视觉和语言基础模块进行高效的多模态学习。

Feb, 2024

一种新的高效 LLVM 家族，通过层级遍历的技术有效提升性能，使其超越了具有更大模型规模的开源 LLVM 并与具有实质规模的闭源 LLVM 相媲美。

Jun, 2024

通过将高效的 Mamba 语言模型引入视觉模态，Cobra 实现了线性计算复杂度的多模态大型语言模型，其在现有的计算效率高的方法上表现出极具竞争力的性能，并且具有更快的速度；同时，Cobra 在克服视觉错觉和空间关系判断方面表现出色，甚至与 LLaVA 在参数数量只有 43% 时表现相当；我们将开源 Cobra 的所有代码，希望该方法能促进 MLLM 的复杂性问题的未来研究。

Mar, 2024

通过集成视觉编码器与 Mamba 模型，RoboMamba 同时提供了机器人推理和动作能力，并且在模型的微调和推断过程中保持了高效的计算速度。

Jun, 2024

大型语言模型能够在缺乏任务特定监督的情况下生成流畅的文本，但其在具有知识密集型任务中提供有根据的解释的能力仍未得到充分探索。我们通过使用专家编写的几个样本，以少量样本的方式生成基于知识的解释来解决这一问题。通过研究发现，众包工作者更喜欢基于知识的解释，因为它们具有实际性、充分性和全面的反驳。虽然大型语言模型生成的解释更受欢迎，但需要进一步提高简明性和新颖性。另外，我们还展示了错误模型预测的解释如何削弱人类对大型语言模型生成的解释的信任。基于这些观察的动机，我们创建了一个两阶段的流程，在生成解释之前审查任务预测并消除潜在的错误决策，以实现可信赖的解释生成。

Nov, 2023

大型语言模型在自然语言理解任务中取得了显著的进展，但要实现真正的人工智能通用智能还存在差距，特别是在数学推理能力方面存在不足。本文通过丰富数据环境和引入一种新的数学数据集，该数据集具有使用 Python 代码解释器的能力，解决了这一挑战。此外，我们提出了一种旨在精调数学专用语言模型的可行、易复制的协议，在 GSM8K 和 MATH 数据集上显著提升了 7B 参数 LLM 性能。我们致力于推进 LLMs 中的数学推理领域，并且我们已经公开了模型检查点并将数据集公开可用，希望这将促进社区内的进一步研究和发展。

Jan, 2024

本研究旨在提出使用人与机器生成数据进行调整范例，以改进视觉语言模型的常识推理与人类意图的一致性，结果发现我们的 ILLLUME 方式可有效改善模型的推理能力，并仅需较少的训练数据以及极少数反馈。

Aug, 2022

通过利用多模态大语言模型（MLLMs）的预训练能力，我们介绍了 RoboLLM 框架以应对 ARMBench 挑战中的视觉感知任务，在实际仓库场景下的大规模机器人操作数据集中，RoboLLM 不仅优于现有基线方法，还大幅减少了模型选择和调优的工作量。

Oct, 2023