ICLRMar, 2017

层级递归网络在序列标注中的迁移学习

PDF
TL;DR本文研究了神经网络在序列标注任务上的最优表现及其通用性，接着讨论了序列标注中的迁移学习问题，并验证了将源任务应用于目标任务可以大幅提高性能，从而超越了多个经典任务的最优表现。
neural networkssequence taggingtransfer learningrecurrent networksstate-of-the-art
发现论文，激发创造
  • 从零开始的跨语言多任务序列标记

    本文提出了一种基于深度神经网络的序列标注方法，其包含多语言、多任务学习和交叉语言联合训练，并在包括词性标注、分块和命名实体识别等多个任务中取得了最优性能。

    Mar, 2016

  • 神经语义解析的迁移学习

    本文提出了一种基于多任务框架和序列到序列模型的语义解析方法，旨在解决语料数据不足限制，较少标注数据任务可以通过从大量标注数据任务中传递学习的方式得到提升，实验结果在自己的数据集中获得了 1.0% 到 4.4% 的准确度提升，在 ATIS 语义解析任务中，准确度提升了 2.5% 到 7.0%。

    Jun, 2017

  • 使用分层学习生成长源序列

    本研究设计并研究了一种新的分层注意力 Transformer 架构（HAT），在几个序列到序列任务中优于标准 Transformer，包括在 PubMed、arXiv、CNN/DM、SAMSum 和 AMI 上的四个摘要任务中取得了最新的 ROUGE 分数。该架构在 WMT20 英文到德文翻译任务中优于文档级机器翻译基线，并通过可视化分层编解码器注意力来研究了分层层次的理解，最后研究了编码器预训练上的分层学习并分析了其在分类任务上的性能。

    Apr, 2021

  • 跨语种字符级神经形态标注

    本文研究如何利用转移学习的方法，通过训练 character-level recurrent neural taggers 的方式，使得高资源语言和低资源语言都能够正确预测 morphological taggings，成功地实现了多语言间的知识迁移，有效提高了准确性达 30%。

    Aug, 2017

  • 通过学习搭配进行序列迁移学习

    本研究提出了一种利用对齐的循环转移（ART）在先训练框架下实现基于神经网络的跨域学习，以实现细胞级别的信息传输。ART 的序列标记和句子分类实验证明本机制比现有技术表现更好。

    Feb, 2019

  • 基于多任务学习的文本分类循环神经网络

    本文提出了基于多任务学习框架的神经网络方法，采用循环神经网络来建模具有特定任务和共享层的文本，并在四个基准文本分类任务的实验中显示出该方法可以提高其他相关任务的性能。

    May, 2016

  • 通过词性标注学习在树形结构上进行组合

    本文提出了一种 Tag-Guided HyperRecNN/TreeLSTM 模型来解决 Recursive Neural Network 模型在语义组合复杂性上存在的限制问题，并通过实验表明该模型在句子分类任务上表现优异。

    Aug, 2018

  • 使用神经网络进行命名实体识别的迁移学习

    通过转移学习，可以提高病历记录去识别的最新技术在有限标记数据集上的性能。

    May, 2017

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • 面向任务的分层 Transformer 对话系统

    本文提出了一种广义的分层 Transformer 编码器框架，并通过一系列实验展示了分层编码如何帮助任务导向的对话系统中的 transformer-based 模型更好地理解上下文从而实现更好的自然语言理解。

    Oct, 2020