记忆增强神经网络在语言理解中的推理
通过引入能够对文本段进行推理的组件、以概率性和可微分的方式执行数字和日期等符号推理的组件,提出了一种改进的神经模块网络(NMNs)模型,提高了非合成问题的预测效果,实验结果表明,该模型在 DROP 数据集上取得了显著的性能提升。
Dec, 2019
介绍一种新的神经网络结构 —— 工作记忆网络,该网络在保持关系推理能力的同时将计算复杂度从二次降至线性,并在文本和视觉问题应用中取得了显著结果。
May, 2018
本文提出了一种称为神经语义编码器(NSE)的增强记忆神经网络,它具有新颖的记忆更新规则和一个随时间变化的可变大小编码内存,并通过读入、组合和写入操作来维护对输入序列的理解,NSE 还可以访问多个共享内存,在自然语言推理,问答,句子分类,文档情感分析和机器翻译等五个不同领域的任务中展示了其有效性和灵活性,在公开可用的基准测试中取得了最先进的性能。
Jul, 2016
本文提出一种使用无监督学习、基于语言模型的神经网络常识推理的简单方法,通过对大量未标记数据的训练,优化单选题的得分,获得了很好的测试成绩,没有使用昂贵的注释知识库或手工特征工程。
Jun, 2018
本文旨在借助神经机器翻译中的一种新方法 —— 神经语义编码器,对句子简化这一任务进行了研究,实验结果表明,该方法在不同简化数据集上的自动评估措施和人工评估方面都表现出了显著的效果。
Apr, 2018
该论文主要探讨利用人类记忆系统中的交叉连接假设来增强记忆增强型 Transformers 模型,并以惊奇度作为交叉连接假设模型进行实证研究,并识别该方法的局限性以指导未来的研究。
Oct, 2022
本文介绍了如何在语言模型中引入编译的神经网络(CoNNs),以实现语言模型的规则全面理解能力。该方法称为 “神经理解”,可提高语言模型在符合任务中的性能,在需要超越训练数据模式识别的领域中特别有用。在符号操作中,我们的方法能够提高语言模型的绝对准确性,增强其规则推理、符号推理和算术推理能力。
Apr, 2023
本文提出了一种新的、受计算机视觉中连接快捷原则启发的端到端可训练内存网络 (End-to-End trainable Memory Networks) 结构 ——Gated End-to-End trainable Memory Networks (GMemN2N),该结构无需使用任何额外的监督信号,可以显著提高 20 bAbI 数据集的最具挑战性的任务和真人机器人对话 (DSTC-2) 数据集。
Oct, 2016