Mar, 2016

通过深度学习进行概率推理：神经关联模型

PDF
TL;DR本文提出了名为神经关联模型（NAM）的新深度学习方法，旨在用于人工智能中的概率推理。作者研究了两种 NAM 结构，即深度神经网络（DNN）和关系调制神经网络（RMNN），并在多个概率推理任务中证明了它们的有效性，包括识别文本蕴含，多关系知识库中的三元分类和常识推理。实验结果表明，这些模型可以显著优于传统的方法，并证明了它们在解决具有挑战性的 Winograd 模式（WS）问题方面的潜力。
neural association modeldeep neural networksrelation-modulated neural netsprobabilistic reasoningcommonsense reasoning
发现论文，激发创造
  • 神经加性模型：利用神经网络进行可解释的机器学习

    由于深度神经网络在高风险领域应用时存在的不透明性，本文提出了一种名为神经添加模型（NAMs）的方法，将神经网络的表现力和广义可加模型的内在可解释性结合起来，令其在高风险领域有更好的应用前景，同时 NAMs 表现出了良好的性能，其可用于多任务学习及建立更复杂可解释的 COVID-19 模型。

    Apr, 2020

  • 关系神经机器

    本文介绍了一种新颖的框架 Relational Neural Machines，它可以对学习器的参数和基于一阶逻辑的推理器进行联合训练，下面将介绍其在大规模关系任务中的可行性和良好效果。

    Feb, 2020

  • 工作记忆网络：增强记忆网络与关系推理模块的结合

    介绍一种新的神经网络结构 —— 工作记忆网络，该网络在保持关系推理能力的同时将计算复杂度从二次降至线性，并在文本和视觉问题应用中取得了显著结果。

    May, 2018

  • 神经加性模型用于实时预测

    应用神经加法模型 (NAMs) 研究多变量预测问题，使用广义加法模型为每个输入变量提供解释性并且能够成功地对多元时间序列数据进行预测。

    May, 2022

  • 神经属性机用于程序生成

    本文提出了神经属性机（NAM），并研究了其在生成结构复杂的序列方面的效果。NAM 利用逻辑机器表示潜在的语法，并通过优化定制损失函数来教导神经机器语法的约束条件，相比仅从语法样本中训练的传统 RNN，在生成时违规约束条件的情况更少。

    May, 2017

  • 双序列建模的神经联想记忆

    该研究提出了一种基于关联记忆的新架构用于双序列建模，派生了用于增强通用循环神经网络（RNN）的循环关联记忆（AM-RNNs），扩展至同时操作两个 AM 的 Dual AM-RNN，并在文本推理方面取得了非常有竞争力的结果。

    Jun, 2016

  • 关联记忆与概率建模的桥梁

    通过观察到关联记忆的能量函数可以被看作是概率建模的负对数似然函数，我们建立了一个桥梁，使得这两者之间的有益思想可以互相流动。在这项工作中，我们提出了基于能量的模型以适应新的上下文数据集，提出了两种新的关联记忆模型，通过关联记忆的工具，我们系统地研究了高斯内核密度估计器的记忆容量，并且研究了 transformers 中的一种实现选择，即规范化后的自注意力，在超球面上执行聚类。

    Feb, 2024

  • RelNN: 用于关系学习的深度神经模型

    本文介绍了一种新的 Relational neural networks 模型，通过在关系逻辑回归中加入隐藏层，从而同时考虑了物体和关系，使用遍历学习算法进行模型训练，并证明了 RelNNs 是一种有效的关系学习模型。

    Dec, 2017

  • 神经马尔可夫逻辑网络

    介绍了一种神经马尔可夫逻辑网络 (NMLNs) 的统计关系学习系统，其借鉴了马尔可夫逻辑的思想，通过神经网络隐式表示逻辑规则作为关系结构上的潜在势函数，克服了基于神经符号方法的嵌入缺失等问题，在知识库补全、三元组分类和分子 (图) 数据生成方面有较大的应用潜力。

    May, 2019

  • 基于循环神经网络的关系分类

    本文提出了一种基于循环神经网络的简单框架，并将其与基于卷积神经网络的模型进行比较。该模型在处理句子关系分类问题时具有学习长距离依赖关系模式的优点，并在使用 MIMLRE 数据集的实验中表现出优异的性能。

    Aug, 2015