IJCAIJun, 2022

在跨领域命名实体识别中寻找最优的子词分词

PDF
TL;DR本研究提出了一种基于子词的解决方案（X-Piece），通过重新令牌化源域的输入单词以接近目标子词分布，来解决交叉域命名实体识别中的输入词级分布偏移问题，实验证明了这种方法基于 BERT-tagger 在四个基准 NER 数据集上的有效性。
unsupervised domain adaptationinput distribution shiftcross-domain nersubword-level solutionoptimal transport problem
发现论文，激发创造
  • 兼顾两种世界：面向领域的 Transformer 用于无监督领域自适应

    提出了一种基于 Domain-Oriented Transformer 的无监督域自适应方法，通过在不同的领域中聚焦于不同的特征空间进行特征对齐，并为每个领域创建一个特定的面向域的分类器，该方法在多个基准测试中取得了最先进的效果。

    Aug, 2022

  • 自适应分词的语言模型高效域适应

    通过适应标记器，将预训练语言模型转移到新领域，提供了与基于专门领域的预训练方法相当的性能，同时生成的模型更小且训练和推断时间更短。

    Sep, 2021

  • 分布式词嵌入的无监督对齐

    本文提出一种基于随机优化的方法，利用概率嵌入技术实现了跨领域的编码对齐，可以成功用于无监督单语言嵌入的双语词汇表推断，且在无监督词汇翻译任务中表现优异。

    Mar, 2022

  • BERT 无监督领域自适应的知识蒸馏

    利用 BERT 预训练语言模型，结合领域适应性方法和知识蒸馏算法，提出了一种简单而有效的无监督领域适应方法，称为对抗适应与蒸馏，在 30 个领域对跨领域情感分类的任务中取得了最先进的性能。

    Oct, 2020

  • 探索抽取式文本摘要中的领域转移

    本文研究了文本摘要技术中的领域转移问题，提出了将领域的定义从类别扩展到数据源，并探讨了四种不同的学习策略以解决领域转移问题，在新测试中呈现出不同的性能特点。

    Aug, 2019

  • 目标偏移下的多源域自适应最优传输

    本文提出了一种基于最优传输的多源域自适应方法解决目标移位下的分类问题，实验结果表明相比现有技术在卫星图像分割任务上具有较好的性能。

    Mar, 2018

  • 低资源自然语言理解的有效迁移学习

    本论文旨在解决 NLU 模型在缺乏数据或知识资源时的挑战，提出了跨语言和跨域适应方法及面向低资源语言的关键词增强方法、序列颗粒化建模方法、多领域预训练方法和粗粒度到细粒度的表示学习框架。

    Aug, 2022

  • 无监督跨领域词表示学习

    本研究提出了一种无监督方法，学习特定领域的单词表示，以准确捕捉单词语义的领域特定方面，并使用所学习的单词表示进行域适应性处理，以在对多个不同领域对情感分类任务中获得最佳准确性，并显着优于现有基准。

    May, 2015

  • 跨语言文档分类中的领域差异缩小

    本文研究跨语言理解中的半监督学习，通过结合最先进的跨语言方法和弱监督学习方法，同时解决语言和领域差异，实现了对跨语言文档分类中的新的领先水平。

    Sep, 2019

  • CDTrans: 跨领域 Transformer 方法的无监督领域自适应

    本文提出了一种基于 Transformer 的无监督领域自适应方法 CDTrans，采用双向中心感知标签算法生成准确的伪标签，采用权值共享的三支架 Transformer 框架对源 / 目标特征学习和源目标领域对齐进行自关注和交叉关注，实现了同时学习区分性领域 - 特定和领域不变表示的显式设计，实验证明该方法在公共数据集上的表现优于现有方法。

    Sep, 2021