基于字级别自注意力网络的自然语言推理
本文介绍了交互推断网络(IIN),一种新的神经网络架构,它通过从交互空间层次性地提取语义特征来实现对语句对的高层次理解,并展示了类似大规模 NLI 的语料库上 Densely Interactive Inference Network (DIIN)的最新性能表现,DIIN 相对于最强的发表系统在具有挑战性的 Multi-Genre NLI(MultiNLI)数据集上实现了大于 20%的误差降低。
Sep, 2017
本文提出一种利用简单变换将外部知识纳入注意机制来使 NLI 模型更加稳健的方法,将其应用于 Transformer 编码器和可分解模型中,结果表明该方法可以显著提高它们的稳健性。并且,在与 BERT 预训练相结合时,在对抗 SNLI 数据集上实现了人类水平的性能。
Aug, 2019
本文提出了一种简单的神经体系结构来解决自然语言推理问题,该方法通过注意力机制将问题分解成可分别解决的子问题,从而使其可以轻松并行。在斯坦福自然语言推理(SNLI)数据集上,我们获得了最先进的结果,并且参数比先前的研究少了近一个数量级,而且不依赖于任何单词顺序信息。添加考虑到最小的顺序问题的内句注意力机制可以进一步改善结果。
Jun, 2016
本文提出了一种基于 Fine-grained Iterative Attention Network (FIAN) 的跨模态时间语言定位方法,该方法采用内容定向定位策略而非现有的基于 Anchor 的方法,并在多个公开基准测试中表现出优异的性能。
Aug, 2020
本文使用 LSTM 结构,将 match-LSTM 方法引入进行单词级联匹配以预测自然语言推理中的矛盾或中性关系标签,并在 Stanford 自然语言推理数据集上表现出比其他深度神经网络方法更高的 86.1% 的准确率。
Dec, 2015
本文提出一种基于对偶句子级别的监督对比学习(PairSCL)方法,采用交叉注意力机制学习句子对的联合表示,并使用对比学习目标来区分不同类别的句子对,在两个公共 NLI 数据集上,PairSCL 的准确性平均优于其他方法 2.1%,并在文本分类的七个转移任务上超过了先前的最新方法。
Jan, 2022
本文提出了一种多级有监督对比学习框架 MultiSCL,该框架使用句子级和对级对比学习目标,在低资源自然语言推理任务中区分不同分类的句对。MultiSCL 采用数据增强模块和交叉注意力模块来获取对级表示,经实验证明,在低资源设置中,MultiSCL 的准确率比其他模型平均高 3.1%,且在文本分类的跨域任务中优于以前的最新方法。
May, 2022
该论文提出了一种基于句子编码技术的模型,通过使用双向 LSTM 进行单词级别的平均池化生成第一阶段的句子表示,并采用注意力机制替代平均池化,以更好地表示文本蕴含关系。最终,通过对斯坦福自然语言推理语料库的实验验证了该模型具有较少的参数以及比现有最佳的句子编码方法更高的性能。
May, 2016
通过提出一种 Multi-Interactive Attention Network (MIAN) 方法,结合多种精细特征以及性别、年龄、职业等用户个人信息,从多个方面综合提取用户偏好,同时设计全局交互模块 (GIM) 学习高阶交互和平衡多个特征的影响,能够有效地预测用户点击率 (CTR)。
Dec, 2020