ICMLMay, 2019

一种明确关系的神经网络架构

PDF
TL;DR该研究旨在弥合深度学习和符号 AI 之间的差距，提出了一种新型的端到端神经网络架构，可以从原始像素数据学习形成具有显式关系结构的命题表示。通过评估和分析体系结构，引入了一系列不同复杂度的简单视觉关系推理任务。结果表明，预先训练这种任务的课程，可以学习生成可重复使用的表示形式，在比较多个基线架构后更好地促进了先前未见过的任务的后续学习。 最后，研究者通过可视化成功训练过的模型的工作方式，揭示了体系结构的功能。
发现论文，激发创造
  • 升级关系神经网络

    本文提出了一种结合关系逻辑表示和神经网络学习的方法，通过关系规则和反映给定训练或测试关系实例结构的深层神经网络的组合实现层次关系建模，从而实现对潜在关系概念的学习，该方法在 78 个关系学习基准测试中表现良好。

    Aug, 2015

  • 神经架构归纳偏差对于关系任务的影响

    本研究探讨了在深度学习中通过将关系和感觉信息分隔，以及引入归纳偏差来改善系统的推理性能，并提出了基于相似性分数的简单架构 -- Compositional Relational Network (CoRelNet), 增强了模型的鲁棒性，提高了关系计算的分布外泛化能力。

    Jun, 2022

  • 深度关系学习建模内容与语境

    本文介绍 DRaiL，一个开源的声明式框架，用于指定深度关系模型，旨在支持各种自然语言处理场景，并支持与表达性语言编码器的轻松集成，以及研究表示、推理和学习之间的相互作用。

    Oct, 2020

  • 关系神经机器

    本文介绍了一种新颖的框架 Relational Neural Machines，它可以对学习器的参数和基于一阶逻辑的推理器进行联合训练，下面将介绍其在大规模关系任务中的可行性和良好效果。

    Feb, 2020

  • 用于关系推理的简单神经网络模块

    本研究使用关系网络（RNs）作为简单的即插即用模块来解决需要基于关系推理的问题，并在三个任务中测试了 RN 增强网络，在使用挑战性数据集 CLEVR 进行视觉问答时，取得了超越人类的最好表现；使用 bAbI 套件的任务进行基于文本的问答；以及关于动态物理系统进行复杂的推理。使用一个精选的数据集 Sort-of-CLEVR，表明强大的卷积网络不具备解决关系问题的一般能力，但可以在增加 RN 的情况下获得这种能力。我们的工作展示了如何利用配备 RN 模块的深度学习架构隐式地发现并学习实体及其关系。

    Jun, 2017

  • 学习符号表达式的连续语义表示

    本文介绍了神经等价网络的新架构，用于学习代数和逻辑表达式的连续语义表示，实现了语义等价的可靠推导，对符号代数和布尔表达式进行了全面评估

    Nov, 2016

  • 关系卷积网络：一种学习层次关系表示的框架

    深度学习中一个日益成熟的研究领域是开发能够学习关系特征的显式表示的架构。本文提出了一个叫做 “关系卷积网络” 的架构框架，重点研究了学习分层关系表示的问题，并通过一系列实验展示了如何利用关系卷积网络提供有效的建模方法来处理具有层次结构的关系任务。

    Oct, 2023

  • 关系数据的神经网络

    该研究针对深度神经网络在社交网络分析等结构化领域表现不佳的问题，提出了一种新方法，即基于关系随机游走的特征和参数共享的关系神经网络。实验证明，该方法在多个标准关系数据集上的表现优于多种神经网络和统计关系模型。

    Aug, 2019

  • 基于端到端神经网络架构的视觉问答显式推理

    该论文提出了一种在视觉问答任务中使用通感推理的方法，该方法可以通过显式推理层来解决一些需要额外知识的问题，并提供可解释性的界面。该推理层采用了基于概率的软逻辑引擎，并运用了一篮子输入来进行推理。实验证实了该方法的有效性。

    Mar, 2018

  • 一种新的统计关系学习下的神经符号系统

    提出了一种名为 GBPGR 的广义双层概率图推理框架，通过使用统计关系学习启发式地集成了深度学习模型和符号推理，以解决当前人工智能领域中深度学习和符号推理相结合的方法在组合方式、泛化性和可解释性方面的局限性，并通过大量实验证明了该方法在转导和归纳任务中实现了高性能和有效的泛化能力。

    Sep, 2023