May, 2023

适应航空领域的句子转换器

PDF
TL;DR针对航空领域的技术术语和非传统语法等特征，作者提出了一种两阶段的方法：使用航空文本数据进行预训练，然后使用自然语言推理数据集在 SBERT 架构上进行微调，以适应该领域并显著优于通用性转换器，突出了领域特定适应对于开发专业 NLP 解决方案的重要性。
sentence embeddingstransformer modelsaviation domainpre-trainingfine-tuning
发现论文，激发创造
  • TSDAE: 使用基於 Transformer 的逐步去噪自編碼器進行無監督句子嵌入式學習

    本研究基于预训练的 Transformer 和序列去噪自编码器（TSDAE）提出了一种新的最先进的无监督方法，该方法表现优于先前的方法高达 6.4 个点。它可以达到领域内监督方法的性能的 93.1％。 此外，我们证明了 TSDAE 是一种强大的领域自适应和预训练方法，明显优于其他方法，如遮蔽语言模型。我们在来自异构领域的四个不同数据集上评估 TSDAE 和其他最近的方法。

    Apr, 2021

  • 利用适配器实现句子嵌入的高效领域自适应

    使用适配器实现参数高效的领域适应方法，通过仅训练少量额外参数而不更新整个句子嵌入模型的权重，以实现句子嵌入在特定领域的适应。结果表明，在仅训练约 3.6% 的参数的情况下，使用适配器进行句子嵌入的领域适应可以获得与完全调整的模型性能相似的结果。

    Jul, 2023

  • AdaSent: 高效领域自适应句子嵌入用于少样本分类

    本研究探讨了针对少样本句子分类的句子编码器 (SE) 的领域专用化策略，提出了 AdaSent 方法，通过在基本的预训练语言模型上训练一个 SE adapter 来解耦句子嵌入的预训练 (SEPT) 和领域自适应预训练 (DAPT)，在多个数据集上证明了 AdaSent 的有效性，并大幅降低了训练成本。

    Nov, 2023

  • 从自动挖掘的同义句训练有效的神经句子编码器

    本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了高性能，超越了最好的多语言句子编码器。

    Jul, 2022

  • 自适应分词的语言模型高效域适应

    通过适应标记器，将预训练语言模型转移到新领域，提供了与基于专门领域的预训练方法相当的性能，同时生成的模型更小且训练和推断时间更短。

    Sep, 2021

  • 领域适应：基于 BERT 语言模型微调的方面 - 目标情感分类

    本文阐述了将领域自适应的 BERT 语言模型与半监督建模进行结合达到最优的 Aspect-Target Sentiment Classification ，并通过不同的数据集得出短语级别情感分类的最新成果，并通过交叉领域验证比较了自适应 BERT 的性能。

    Aug, 2019

  • 无监督领域自适应的上下文嵌入序列标注

    本文提出了一种基于掩码语言模型，在目标领域中调整上下文嵌入的方法，从而实现了序列标注的无人监督适应，获得了重要的改进，特别是在词汇表外的单词上。

    Apr, 2019

  • 使用句子转换器进行零样本文本匹配的自动审计

    本文探讨了使用基于 transformer 的 Sentence-Bert 模型进行无监督文本匹配的效率，结果表明该模型对于金融领域内外的文本均有很好的鲁棒性。

    Oct, 2022

  • SenTest: 句子编码器鲁棒性评估

    通过对比学习方法评估句子编码器的鲁棒性，使用字符级、词级和句级攻击检验了模型的稳健性，结果显示模型在扰动数据集上的准确率可下降高达 15％，且当前的分类策略未能充分利用语义和句法结构信息。

    Nov, 2023

  • 面向神经机器翻译的无监督领域自适应与领域感知特征嵌入

    提出一种通过使用语言建模来学习领域感知特征嵌入，在多个实验中提高神经机器翻译性能的方法，该方法允许使用者指定特定领域的文本表示。

    Aug, 2019