May, 2022

数据推理学习之悖论

PDF
TL;DR本研究考察了在自然语言中可以用 BERT 模型来训练端到端地解决逻辑推理问题吗？通过监察矛盾的现象，研究发现 BERT 虽然能够在某些测试实例中达到近乎完美的准确率，但却不能在完全相同的问题空间中泛化到其它数据分布上。我们展示了这是因为 BERT 并没有学习正确的推理函数，而是学习了逻辑推理问题中固有的统计特征。此研究结果自然推广到其他神经模型，并揭示了学习推理与学习利用统计特征在 NLP 基准测试中高绩效之间的根本差异。
发现论文，激发创造
  • DeepLogic: 基于端到端可微分的逻辑推理

    探索如何使用基于 RNN 的迭代神经网络将符号逻辑定义为字符级逻辑程序，使其在高维向量空间中学习推理，进一步分析学习推理算法如何产生逻辑程序中的原子、文字和规则表示，并针对谓词和常量符号的长度以及多次跳跃推理的步数进行评估。

    May, 2018

  • 面向任务的对话系统的逻辑推理

    本篇论文提出了一种基于预训练的 Transformer 模型 fine-tune 的方法，使之具备在对话语境中进行逻辑推理和回答问题的能力，而无需额外的训练数据集。研究结果表明，该模型在已训练属性上能够达到 90% 以上的精度，在适当的对话语境下能够提取出适当的限制条件传递给下游组件 (e.g. 知识库)。

    Feb, 2022

  • 深度神经网络本体推理

    本研究采用最新的深度神经网络训练方法，成功开发出了一种模型，可以学会在基本本体论推理的形式下有效地进行逻辑推理，进而可以应用于许多现实世界中的问题，并且在各项实验中表现出高度准确和生物学上的可行性。

    Aug, 2018

  • 关系神经机器

    本文介绍了一种新颖的框架 Relational Neural Machines，它可以对学习器的参数和基于一阶逻辑的推理器进行联合训练，下面将介绍其在大规模关系任务中的可行性和良好效果。

    Feb, 2020

  • 一个简单的逻辑推理和统计学习生成模型

    提出了一种基于贝叶斯模型可实现逻辑推理和统计学习的新方法，使得符号推理成为正向和反向过程的结果，并对学习和推理的研究提供了新的视角。

    May, 2023

  • 大型语言模型逻辑推理的教学学习

    通过对大型语言模型的研究，我们发现它们在逻辑推理方面存在缺陷，导致其在任务解决中产生反事实的答案。为了解决这个问题，我们提出了多种策略，赋予大型语言模型逻辑推理能力，从而使其能够在不同场景中生成更符合逻辑的答案。我们还通过构建一个综合数据集 (LMM-LR) 对该方法进行了评估和预训练。在不同任务上进行了广泛的定量和定性分析，验证了通过逻辑训练大型语言模型的有效性和必要性，并为将来的工作提供了启示。

    Oct, 2023

  • 理性飞跃：教授预训练模型系统性地推理隐含知识

    该研究证明，通过使用既有的预训练模型中的隐含知识以及显式的自然语言陈述，神经网络可以可靠地执行系统性推理任务，这为开放领域的系统不断与用户交互、持续改进的路径铺平了道路。

    Jun, 2020

  • 用于跨语言评估的基于逻辑的语料库

    本文提出了一种新的语法任务集，专注于矛盾检测，并评估了递归模型和 BERT 网络。虽然 BERT 在大多数逻辑形式上具有更好的泛化效果，但在处理计数算子时仍有待改进，同时表明该语法任务可以在不同的语言中实现并实现跨语言传递学习。

    May, 2019

  • 大规模语言模型对于超领域逻辑推理任务的系统评估

    大型语言模型在逻辑推理任务中的泛化性和鲁棒性评估及改善的研究。

    Oct, 2023

  • 通过预测推理顺序来衡量和提高 BERT 的数学能力

    本文研究 BERT 语言模型是否具备数学能力，从而能够解决单词数学问题，提出了一种预训练任务 Neighbor Reasoning Order Prediction (ROPS)，针对数学过程提供了半正式的解释步骤，通过新的模型和预训练任务，实现了比数据驱动基线和结构更加优化的模型更好的结果，并且还展示了如何减少这种模型中的位置偏差。

    Jun, 2021