ACLFeb, 2017

基于分组权值共享的领域知识利用及其在文本分类中的应用

PDF
TL;DR该论文提出了一种新的方法 — 通过权值共享来利用诸如 WordNet 或 Unified Medical Language System（UMLS）等现有的外部语言资源来完善神经模型，从而提高分类任务的性能。
发现论文，激发创造
  • 基于关键词权重排名的多领域文本分类课程学习方法

    本文提出了一种基于关键词权重排序的课程学习策略来改善多域文本分类模型的性能，该方法在对抗训练的基础上，并且在 Amazon 评论和 FDU-MTL 数据集上的实验结果表明，它能有效地提高多领域文本分类模型的性能，并优于现有的方法。

    Oct, 2022

  • 融合语言模型权重实现无数据知识融合

    本文提出一种数据无关的知识融合方法，通过在参数空间内合并模型并引导最小化预测差异的权重，将建立在不同训练数据集上的个别模型合并为一个模型，以在所有数据集领域都表现良好并可以推广到域外数据。 在评估设置的一系列电池上，我们发现该方法明显优于 Fisher 加权平均或模型集成等基线，并且我们发现我们的方法是一种有前途的替代多任务学习的方法，可以在不访问训练数据的情况下保留或有时提高个别模型的性能。最后，模型合并比训练多任务模型更高效，因此适用于更广泛的情况。

    Dec, 2022

  • 预训练语言模型的高效分层领域自适应

    本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

    Dec, 2021

  • 从词汇资源中提取的知识增强单词嵌入

    提出了一种用于词向量表示的语义专业化的有效方法，使用传统的词嵌入并应用专业化方法以更好地捕捉单词之间的语义关系，结合来自丰富词汇资源（如 BabelNet）的外部知识，以及使用基于对抗式神经网络及 Wasserstein 距离的后处理专业化方法，证明在两个任务上（单词相似性和对话状态跟踪）实现了大于现有方法的改进。

    May, 2020

  • 使用宇宙、群组和任务特征学习的多任务网络

    通过自然的相关任务分组，结合多任务学习方法，将监督信息编码到模型中，探索并实现了两种神经网络结构，分别在不同层级学习不同的特征空间，并在自然语言理解中取得了显著的性能提升。

    Jul, 2019

  • 基于子词的神经语言模型参数重复利用

    本研究提出了利用子单词嵌入和其他权重重用的方法，其中在多层输入嵌入模型中，应从下到上连续捆绑层以在输出时重用，最终建立的最佳词素感知模型在多种语言下可以比竞争的词级模型具有更好的性能且模型参数减少 20%-87%。

    Feb, 2018

  • 整合领域知识：使用层级结构改进深度分类器

    基于 WordNet 类层次结构的机器学习方法提高了 ImageNet 和 NABirds 数据集的分类准确度，并在较短的训练时间内成功匹配了基线模型的细粒度识别性能。

    Nov, 2018

  • 噪声用户生成文本的词性标注领域自适应

    使用神经网络实现 POS 标注器，通过领域自适应和正则化技术，在德语推文数据集中实现高于 90% 的标注准确度。

    May, 2019

  • 使用隐马尔可夫模型进行序列标注的领域自适应

    该研究论文介绍了一种基于隐藏马尔科夫模型来学习词汇表示，并使用大量未标记数据将这些方法更好地适用于不同领域数据的方法。

    Dec, 2013

  • Learn2Weight: 相似领域对抗攻击下的参数调适

    提出一种新的黑盒 NLP 对抗攻击，攻击者可以选择类似的领域并将对抗性样本转移到目标领域，本文提出学习调整目标模型权重的防御策略 ——Learn2Weight，证明其对 Amazon 多领域情感分类数据集等攻击效果优于传统防御方法。

    May, 2022