基于文本关系推理的组合语言理解
该研究介绍了一个名为 ConceptWorld 的环境,用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力,并提出了一个潜在的基准模型,以鼓励在构成和关系领域有效泛化的模型的发展。
Jun, 2020
本论文致力于将符号逻辑推理的多步骤推理与神经网络的概括功能相结合。在文本和大型知识库中对实体和关系进行复杂推理。提出了三种重要的建模方法:(1)学习联合推理关系(2)使用神经注意力建模多个路径(3)学习在单个 RNN 中共享强度,使用我们的方法在实验任务中实现了 25%的错误率降低,推理中的错误率降低了 84%。
Jul, 2016
本文介绍了一种类似神经模块网络的组合模型,旨在对文本进行复杂的逻辑推理,通过寻找文章中相关的句子,并使用神经模块将它们链接起来,模型在 ROPES 上取得了显著的性能改进。
Apr, 2020
本文介绍了一种新颖的框架 Relational Neural Machines,它可以对学习器的参数和基于一阶逻辑的推理器进行联合训练,下面将介绍其在大规模关系任务中的可行性和良好效果。
Feb, 2020
提出通过遵循组成性原则来训练神经网络解决语言理解的挑战,并通用地应用于多种领域,进而提高机器人的安全性和公平性,所提出的网络能够显着提高自然语言理解能力,且在实现先前工作所不能实现的泛化能力的同时还提供了可解释性的层面。
Aug, 2020
通过包含 1,500 个测试案例的评估,我们在英语中全面评估了大型语言模型(LLMs)在推理组合关系方面的能力,旨在了解 LLMs 处理不同语言环境下的组合关系推理的鲁棒性和适应性。
Mar, 2024
通过引入能够对文本段进行推理的组件、以概率性和可微分的方式执行数字和日期等符号推理的组件,提出了一种改进的神经模块网络(NMNs)模型,提高了非合成问题的预测效果,实验结果表明,该模型在 DROP 数据集上取得了显著的性能提升。
Dec, 2019
本研究使用关系网络(RNs)作为简单的即插即用模块来解决需要基于关系推理的问题,并在三个任务中测试了 RN 增强网络,在使用挑战性数据集 CLEVR 进行视觉问答时,取得了超越人类的最好表现;使用 bAbI 套件的任务进行基于文本的问答;以及关于动态物理系统进行复杂的推理。使用一个精选的数据集 Sort-of-CLEVR,表明强大的卷积网络不具备解决关系问题的一般能力,但可以在增加 RN 的情况下获得这种能力。我们的工作展示了如何利用配备 RN 模块的深度学习架构隐式地发现并学习实体及其关系。
Jun, 2017
本研究提出了一个包含超过 120k 个人工标注问题的大规模组合式问答数据集,回答在此数据集上的问题需要组合文档中的若干段落来生成最终答案。本文针对该问题提出了一种基于图神经网络的层次预训练模型,并在预训练和机器阅读理解领域中取得了巨大的提升。
Jan, 2021
本文提出了卷积神经网络来学习问题和回答句子的最佳表现形式,并使用成对匹配的关系信息进行编码,这使得神经网络可以更好地捕捉到问题和答案之间的交互作用,从而有效地提高了准确性。
Apr, 2016