本文提出了一种序列标注框架,采用辅助训练目标,并通过学习预测数据集中每个词周围的单词进行语言建模,以此学习通用的语义和语法组合模式,并在不需要额外标注或未标注数据的情况下,实现在多个序列标注任务上取得一致的性能提升。
Apr, 2017
本文提出了一种学习一组神经网络模块并以不同方式组合的策略,并通过重复使用模块来实现组合概括,提高机器人相关问题的性能。
Jun, 2018
本文提出了一种多任务方法,通过将否定信息显式地纳入情感分析模型中,以优于隐式学习否定。该方法采用级联神经体系结构,并选择性共享 LSTM 层,同时在多个标准英语数据集上分析了该方法的性能,包括其多种不同设置下的输入数据类型和数量。
Jun, 2019
本研究探索使用多任务学习的效果,其中将语义标注作为三种不同自然语言处理任务(词性标注,通用依赖解析和自然语言推理)的辅助任务。相比于全神经网络共享和部分神经网络共享,我们发现 “学习共享什么” 的环境中表现良好,特别是在所有任务中表现出一致的增益。
Aug, 2018
通过研究 11 个序列标注任务中的三种多任务学习方法,我们发现在大约 50% 的情况下,联合学习所有 11 个任务可以改善独立学习或成对学习任务的效果。我们还展示了成对多任务学习可以告诉我们哪些任务可以互惠,哪些任务在联合学习时可以受益。我们的一种多任务学习方法产生的任务嵌入还揭示了语义任务和语法任务的自然聚类。我们的研究打开了在自然语言处理中进一步利用多任务学习的大门。
本研究提出了使用句子级别注释训练的简单模型,同时采用正则化方法,以模拟情感词汇、否定词和强度词汇的语言学角色,从而生成语言学相关的表示形式,并且能够捕捉情感、否定和强度词汇的情感转移效应,同时在不损失模型简洁性的前提下获得竞争性的结果。
Nov, 2016
本文提出了一种基于神经网络序列标注器的词形标注方法,将词性标注中的词形标记视为复合标签并显式地建模其内部结构,同时在 49 种语言上表现出良好的效果。
Oct, 2018
本研究提出了一种新颖的神经网络框架,将预先训练好的字级知识和字符感知神经语言模型相结合,利用转移学习技术实现不依赖于额外监督信号的序列标注任务,并在基准数据集上通过大量实验验证了其有效性和高效性。
Sep, 2017
使用模块化架构实现自然语言指令跟随,每个子目标类型具有自己的模块,并且通过学习指令分割并为每个片段预测子目标类型来选择要执行的模块序列,使模型可以更好地泛化到未见过的子目标组合和环境中。
Oct, 2020
研究新架构用于情感分析的任务,结合了大规模的 MEGA-DT treebank 以及基于混合 TreeLSTM 分层注意模型的神经架构,通过情感相关的话语增强情感预测性能,实验结果显示,性能优于使用先前基于人类注释数据训练的良好建立的话语解析器的方法,同时演示了一个简单的组合方法如何进一步增强性能。
Nov, 2020