Jun, 2024

大型语言模型是跨语言无领域知识的推理者

PDF
TL;DR跨语言能力：大型语言模型在不同语言的推理任务中展示出令人印象深刻的推理能力。本研究将推理任务分解为两个独立的部分：知识检索和无知识推理，并分析它们的跨语言可迁移性。通过适应和构建无知识推理数据集，我们展示了无知识推理能力可以在各种资源中几乎完全可转移，尽管在某些特定目标语言中存在资源的次要影响，而跨语言知识检索显著阻碍了迁移。此外，通过分析推理任务中的隐藏状态和前馈网络神经元的激活，我们展示了隐藏表示的更高相似性和激活神经元的更大重叠可以解释无知识推理比知识检索具有更好的跨语言可迁移性。因此，我们假设无知识推理嵌入了某种语言共享的机制，而知识则分别存储在不同的语言中。
发现论文，激发创造
  • 打破语言障碍：通过结构化自注意力提升跨语言推理

    本研究探讨了多语言语言模型（MultiLMs）在针对不同语言推理时，是否能够将逻辑推理能力转移到其他语言。通过在两种方案中评估 MultiLMs 的跨语言推理能力，我们发现在单语言设置下，MultiLMs 可以在语言之间传递推理能力，但在混合代码推理的情况下，它们很难传递推理能力。基于此观察，我们提出了一种新颖的注意机制，利用专门的参数集在混合代码序列中鼓励跨语言注意力，从而在 RuleTaker 和 LeapOfThought 数据集上分别将推理性能提高了 14% 和 4%。

    Oct, 2023

  • 推理类型对跨语言转移绩效的影响分析

    通过构建带有类别注释的多语言 NLI 数据集，我们研究了多种类型的推理对跨语言迁移效率和小样本选择的影响。我们的统计结果表明，推理类型和语言相似性的汇流对于迁移性能有着越来越重要的影响。

    Oct, 2021

  • 语言模型中的概念和公正推理

    我们提出了一个新的概念化框架，迫使模型在抽象问题上进行概念推理并在可验证的符号空间中生成解决方案，使用这个框架作为分析工具，我们发现现有的大型语言模型在概念推理方面存在不足，并通过引入可信的归纳信号来改善模型的概念推理性能，实验证明我们提出的技术使模型的概念推理性能提高了 8% 至 11%，实现了一个更强大的推理系统，更少地依赖归纳偏见。

    Mar, 2024

  • 知识链：通过从知识图谱中学习将知识推理整合到大规模语言模型中

    通过构建自然语言处理任务中的大型语言模型，研究了知识推理的细节和方法，并提出了一个全面的知识推理框架 Chain-of-Knowledge（CoK），通过基于知识图的规则挖掘生成数据集，并结合人类知识探索过程的试错机制来提高模型学习的效果。实验证明，CoK 不仅在知识推理上，还在一般推理基准中具有优异的效果。

    Jun, 2024

  • 多语言大型语言模型的跨语言能力和知识障碍

    通过评估六种最先进的大型语言模型在跨语言任务上的表现，本研究发现尽管这些模型在机器翻译和嵌入空间分析上展现了表层的跨语言能力，但在更深层次的跨语言知识转移上存在困难，揭示了跨语言知识壁垒的存在。同时提出在混合语言数据上对大型语言模型进行微调的方法，有效减少了这些差距，甚至在使用维基文本等域外数据集时也能取得良好效果。研究发现需要明确的优化方式来发挥大型语言模型的完整跨语言潜力。

    Jun, 2024

  • 大型语言模型向人类类似的概念组织收敛

    大型语言模型在知识提取、推理和对话方面显示出与人类相似的表现，但是它们的表现究竟是通过记忆和模式匹配来解释的，还是反映了人类般的推理语义和世界知识，存在争议。本文展示了大型语言模型学习以类似于知识库的方式组织概念，这些知识库提供了推理语义和世界知识的大规模高质量表征。大型语言模型似乎从原始文本中引出这种知识，而更大更好的模型表现出更符合人类的概念组织，涵盖了四个系列的语言模型和三个知识图谱嵌入。

    Aug, 2023

  • 外部推理：朝着多大语言模型互换人类反馈的辅助方向

    通过对 LLMs 的选择性整合外部知识，介绍了一种基于多个 LLM 之间交互协助的外部推理新方法 (ChatPDF)，在人类反馈的响应下，根据查询的复杂性调整支持水平，经过全面评估后取得了最先进的性能，并且相比 LLMs 直接处理全文，这种方法更加高效。

    Jul, 2023

  • 探究大型语言模型如何利用内部知识进行复杂推理

    通过将复杂的现实世界问题分解成图形，将每个问题表示为一个节点，并使用具有解决问题所需背景知识的父节点来研究大型语言模型（LLMs）如何利用知识进行推理。使用分层图形，我们量化了 LLMs 在较简单子问题与复杂问题上性能的前向差异和后向差异。此研究拓展了我们对 LLM 推理的理解，并提出了改进它们解决问题能力的方法。

    Jun, 2024

  • 探索大型语言模型与知识图谱的推理能力

    LLMs 通过内部的知识图来推理知识图谱，本文研究了 LLMs 从预训练知识图中召回信息的准确性以及从上下文中推断知识图关系的能力，并通过四个不同的知识图推理任务来验证了其成功处理简单和复杂知识图推理任务以及从输入上下文中推断的实验结果。

    Dec, 2023

  • LLMs 中的分布式推理：多跳推理中的并行推理过程

    大型语言模型具有出色的能力来执行需要思考过程的任务，本研究引入了一种新颖且可解释的分析方法，探讨了大型语言模型内部的多跳推理过程，揭示了模型通过简单线性变换来建模组合推理问题的预测过程，并且发现网络的中间层生成高度可解释的嵌入，代表了多跳问题的一组潜在中间答案，这些观察结果揭示了平行推理路径的存在，即使模型缺少解决任务所需的知识，这些结果有助于揭示大型语言模型解决推理任务的策略，并提供了人工智能所能产生的思维过程类型的见解，最后还讨论了认知建模的这些结果的含义。

    Jun, 2024