基于贝叶斯推理的自然语言人类概念学习建模
通过使用元学习方法从符号贝叶斯模型的先验分布生成一组任务集，我们能够将快速概念学习所需的归纳偏倚转移到神经网络中，创造出具有对短逻辑公式表达的概念存在偏倚的神经网络，这些结果与人类表现高度一致。
Feb, 2024
我们提出了一个新的概念化框架，迫使模型在抽象问题上进行概念推理并在可验证的符号空间中生成解决方案，使用这个框架作为分析工具，我们发现现有的大型语言模型在概念推理方面存在不足，并通过引入可信的归纳信号来改善模型的概念推理性能，实验证明我们提出的技术使模型的概念推理性能提高了 8% 至 11%，实现了一个更强大的推理系统，更少地依赖归纳偏见。
Mar, 2024
我们构建了一个计算模型，用于描述人类如何通过实验主动推断隐藏的规则。该模型的基本原则是，即使规则是确定性的，学习者也会考虑到更广泛的模糊概率规则，通过自然语言表示，并根据近似贝叶斯原则在每次实验后在线更新其假设。在同一框架中，我们还根据信息论准则对实验设计进行建模。我们发现这三个原则的结合 - 显式假设、概率规则和在线更新 - 可以解释人类在 Zendo 风格任务中的表现，并且移除其中任何一个组件都将使得模型无法解释数据。
Feb, 2024
该研究提出了一种基于神经网络的自然语言推理模型，使用表示学习、LSTM、注意力机制和可组成的神经网络来实现任务，并在 Stanford 自然语言推理数据集上实现了比文献中所有已发布模型更好的准确性。
Nov, 2016
大型语言模型在知识提取、推理和对话方面显示出与人类相似的表现，但是它们的表现究竟是通过记忆和模式匹配来解释的，还是反映了人类般的推理语义和世界知识，存在争议。本文展示了大型语言模型学习以类似于知识库的方式组织概念，这些知识库提供了推理语义和世界知识的大规模高质量表征。大型语言模型似乎从原始文本中引出这种知识，而更大更好的模型表现出更符合人类的概念组织，涵盖了四个系列的语言模型和三个知识图谱嵌入。
Aug, 2023
利用归纳推理现象，通过研究语言模型（LMs）中的语义归纳综合，分析人工归纳文献中观察到的现象，并研究涉及隐含推理和新出现功能识别等任务的归纳行为，并分析并联系到学习到的概念表示空间。
Nov, 2021
人类语言在思维和学习结构方面发挥重要作用。本文提出了一个挑战测评与深度学习语言模型相比人类表现的基准，并通过提供结构化符号推理模块来拓展深度学习语言模型，以使其更符合人类推理。实验表明，在语言表达能力、泛化能力等方面，人类远远优于 LLMs，这说明混合 AI 模型具有更接近人类推理的潜力。
May, 2022
在本研究中，我们分析了当代大型语言模型对人类概念及其结构的理解程度，并讨论了发展具备概念意识的语言模型的方法，包括在不同阶段引入预训练和利用现有语言模型输出的简化方法。通过证明概念意识语言模型的初步结果，我们证明了其能够更好地符合人类直觉，提高了预测的稳定性，展示出了概念意识语言模型的潜力。
Nov, 2023