神经属性机用于程序生成
由于深度神经网络在高风险领域应用时存在的不透明性,本文提出了一种名为神经添加模型(NAMs)的方法,将神经网络的表现力和广义可加模型的内在可解释性结合起来,令其在高风险领域有更好的应用前景,同时 NAMs 表现出了良好的性能,其可用于多任务学习及建立更复杂可解释的 COVID-19 模型。
Apr, 2020
神经外包模型(NAMs)的发展标志着可解释的深度学习在表格数据集上的重要进展,我们提出了一种新的 NAMs 子类 —— 通过随机傅立叶特征的高斯过程的单层神经网络结构,称为高斯处理神经外加模型(GP-NAM),它具有凸优化函数和可训练参数数量与特征维度成线性关系的优势,并证明了它在多个表格数据集上实现了与更深层次 NAM 方法相当甚至更好的性能。
Feb, 2024
本文提出了名为神经关联模型(NAM)的新深度学习方法,旨在用于人工智能中的概率推理。作者研究了两种 NAM 结构,即深度神经网络(DNN)和关系调制神经网络(RMNN),并在多个概率推理任务中证明了它们的有效性,包括识别文本蕴含,多关系知识库中的三元分类和常识推理。实验结果表明,这些模型可以显著优于传统的方法,并证明了它们在解决具有挑战性的 Winograd 模式(WS)问题方面的潜力。
Mar, 2016
提出了一种新颖的关注机制,即神经关注记忆(NAM),它是一种可读写的记忆结构,并基于此设计了基于 NAM 的 MANN、few-shot 学习、N-way K-shot 学习和 Transformer 等模型,实验证明 NAM 在算法零样本泛化、减少假阳性等方面效果更好。
Feb, 2023
通过对模型、数据进行改动以及嵌入注意力机制,研究表明 RNNG 模型中显式建模组成部分对于实现最佳性能至关重要;并通过注意力机制发现,头部性在短语表示中起着核心作用,而短语表示与非终结符的依附关系最小化支持了前缀假说。
Nov, 2016
提出了一种新的神经网络模型结合 Gated Graph Neural Networks 和输入转换解决了线性化启发式和参数爆炸问题,可以对 AMR 图和基于语法的神经机器翻译进行生成,实验结果表明该模型优于强基线模型。
Jun, 2018
使用数百万个未标记的句子和对 AMR 图的精心预处理,我们提出了一种新颖的训练过程,成功地解决了 AMR 中有限的标记数据和非顺序的图表征对序列到序列模型的限制。我们在 AMR 解析和生成任务上取得了竞争性结果,并得到了丰富的分析和证据表明序列基 AMR 模型对图表征的排序变化具有鲁棒性。
Apr, 2017
本研究介绍了递归神经网络语法与其使用的高效推理过程,分别应用于句法分析和语言模型,实验结果表明在英文的句法分析和英汉语言模型方面,其效果均优于所有以前发表的有监督生成模型和最先进的序列 RNNs。
Feb, 2016
研究表明,通过在神经机器翻译中使用抽象意义表示(AMR)作为额外知识,可以显著改善一种强的基于注意力的序列到序列神经翻译模型在标准英德数据集上的翻译表现。
Feb, 2019