Jan, 2024

LangBridge：无需多语言监督的多语言推理

PDF
TL;DR通过引入 LangBridge，我们介绍了一种零 - shot 方法，用于在没有多语言监督的情况下适应语言模型的多语种推理任务。虽然仅利用英语数据进行训练，LangBridge 显着提高了语言模型在数学推理、编码和逻辑推理等低资源语种上的性能。我们分析表明，LangBridge 的有效性来自多语种表示的语言无关特性。我们公开发布了我们的代码和模型。
发现论文，激发创造
  • 打破语言障碍：通过结构化自注意力提升跨语言推理

    本研究探讨了多语言语言模型（MultiLMs）在针对不同语言推理时，是否能够将逻辑推理能力转移到其他语言。通过在两种方案中评估 MultiLMs 的跨语言推理能力，我们发现在单语言设置下，MultiLMs 可以在语言之间传递推理能力，但在混合代码推理的情况下，它们很难传递推理能力。基于此观察，我们提出了一种新颖的注意机制，利用专门的参数集在混合代码序列中鼓励跨语言注意力，从而在 RuleTaker 和 LeapOfThought 数据集上分别将推理性能提高了 14% 和 4%。

    Oct, 2023

  • 跨越多语言数学推理中的语言障碍：洞察与观察

    本文首次探索和训练强大的多语种数学推理语言学习模型，通过利用翻译构建了首个多语种数学推理指令数据集 MGSM8KInstruct，提出不同的训练策略，构建了名为 MathOctopus 的强大的多语种数学推理模型，其在少样本情况下表现优于传统开源模型和 ChatGPT。

    Oct, 2023

  • ChatBridge：利用大型语言模型作为语言催化剂桥接语言形式

    本文提出了一种名为 ChatBridge 的多模态语言模型，利用语言的表达能力作为各种模态之间的桥梁，从而实现多种任务的感知。ChatBridge 利用大型语言模型（LLM）的零 - shot 能力来处理多样化的多模态输入，尤其是在涵盖文本、图像、视频和音频模态的 16 种多模态任务中展现出良好的强化学习效果。

    May, 2023

  • MindMerger: 非英语语种中高效提升 LLM 推理能力

    LLMs 与多语言模型中的外部语言理解能力的融合方法 MindMerger 可提高多语言推理性能。在多个语言推理数据集上的实验证明，MindMerger 相较于其他方法具有更好的性能，尤其对于资源稀缺的语言。在 MGSM 数据集上，不更新 LLMs 的参数，平均准确率分别提升了 6.7% 和 8.0%，涵盖所有语言和资源稀缺的语言。

    May, 2024

  • 具有语言无关注意力桥接的多语言 NMT

    本文提出了一种多语言编码器 - 解码器架构，其中包括一个中间的共享‘注意桥接层’，能够获取多语言句子代表。我们通过以一种我们称之为‘注意力桥’的共享层连接带有语言特定编码器和解码器的模型来训练，并展示了一种新的框架来高效实现多语言 NMT。在多重平行数据集中系统地测试了该方法，结果表明该模型能显著提高强度双语模型的性能，并且也可以用于零 - shot 翻译，展示了其抽象和转移学习的能力。

    Nov, 2018

  • 通过代码从 LLMs 中引出更好的多语言结构化推理

    大型语言模型在多语言结构推理和解释数据集 xSTREET 上表现出进展，通过使用机器翻译增强具有多语言评论的代码数据集，以及在推理时使用包含逐步代码原语的提示结构，提供了改善多语言性能的两种方法。

    Mar, 2024

  • 无平行语料的零样本跨语言迁移

    通过使用预训练模型，我们提出了一种零样本跨语言转移的新方法，它能够在低资源语言上实现任务感知的双语信息对齐，并利用未标记数据进行自我训练，从而实现多种任务上的最新技术提升，无需并行语料库或翻译模型。

    Oct, 2023

  • 更好的多语言推理的问题翻译训练

    通过问题对齐，我们训练模型将推理问题翻译成英文，以利用英文指导数据，提高大型语言模型在多语言推理任务上的性能。

    Jan, 2024

  • 弥合鸿沟：探索桥梁结构在复杂的视觉推理任务中的能力

    探讨了多模态架构在复杂视觉推理任务上的表现，发现在 NLVR2 数据集中，使用对象级别特征的桥梁架构并不能提高性能，而预训练多模态数据对于复杂推理任务的良好表现是关键。还对最新的桥梁架构 LLaVA 在零 - shot 环境中的性能进行了初步分析。

    Jul, 2023

  • 语言模型是多语言的思维链推理器

    通过使用多种类型不同的语言，我们通过手动将 GSM8K 数据集中的 250 个小学数学问题翻译成十种不同的语言，评估了大型语言模型在多语种环境下的推理能力，并提出了 MGSM 基准。我们发现，随着模型规模的增加，使用思维链提示解决 MGSM 问题的能力越来越强，即使在孟加拉语和斯瓦希里语等少数语言中，这些模型也具有非常强的多语种推理能力。最后，我们展示了语言模型的多语种推理能力扩展到其他任务，例如常识推理和上下文语义判断。

    Oct, 2022