AAAIJun, 2022

多语言首字母缩略词抽取的领域自适应预训练

PDF
TL;DR本论文介绍了我们参加多语言首字母缩略词提取共享任务 SDU@AAAI-22 的发现。我们采用双向长短时记忆网络链条件随机场（BiLSTM-CRF）和多语言 XLM-RoBERTa 嵌入来处理多语言首字母缩略词提取。我们预训练了 XLM-RoBERTa 模型，以进一步适应共享任务的领域。我们的系统（团队：SMR-NLP）在所有语言的首字母缩略词提取方面都取得了竞争性的性能表现。
multilingualacronym extractionbilstm-crfxlm-robertacompetitive performance
发现论文，激发创造
  • MACRONYM：多语言和多领域首字母缩写词提取的大规模数据集

    该研究论文主要研究了缩写词的提取及其在自然语言处理应用中的重要性，进一步提出了一种用于多语言和多领域缩写提取的新数据集，并通过实验证明不同语言和不同学习设置下的缩写提取存在独特的挑战和必要的进一步研究。

    Feb, 2022

  • 使用 Transformer 进行英文缩略词提取的集成方法

    使用多种不同方法（上下文语言模型和卷积神经网络）提取缩写及其相应的长格式，通过向官方训练数据集添加额外的训练数据样本以帮助提高任务性能，在测试数据上实现了良好的宏 F1 分数。

    Jan, 2022

  • 低资源领域适应的多阶段预训练

    本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

    Oct, 2020

  • 利用领域不可知和特定领域知识进行首字母缩写消歧

    本研究提出一种 Hierarchical Dual-path BERT 方法，该方法利用 RoBERTa 和 SciBERT 预训练模型来分别编码通用精细和高级具体表示，用于缩写消歧。实验结果表明，该方法在各种评估指标上均优于现有技术，特别是其宏 F1 达到了 93.73％。

    Jul, 2021

  • MDAPT: 单模型多语种领域自适应预训练

    本研究旨在探究利用领域自适应预训练的方法，结合多语言语料库来同时训练一个领域特定和多语言的语言模型，从而提高目标领域内不同语言任务的文本建模能力。研究结果表明，用这种模型在生物医学命名实体识别和金融句子分类等多个领域特定数据集上进行测试，可以比一般的多语言模型表现更好，接近于单语言情况下的性能表现。

    Sep, 2021

  • AT-BERT: 针对缩略语识别的对抗训练 BERT 模型，SDU@AAAI-21 胜利解决方案

    本文提出了一个名为 AT-BERT 的对抗训练 BERT 方法，它采用预训练 BERT 进行更好的语义表示，结合 FGM 对抗性训练策略进行微调，采用多个 BERT 变体的表示，显著提高了 SDU 挑战赛的首字母缩略词识别任务的性能。

    Jan, 2021

  • 多语音预训练中的语言通用语音表示法用于小资源语音识别

    本文提出一种结合多语言训练和自监督学习的方法来提高低资源 ASR 性能，其中采用国际音标（IPA）多语言模型为无标签语音创建帧级伪标签，并以这些伪标签以 Phonetically-informed 的方式引导基于 HuBERT 的语音预训练。实验证明，该方法在所有目标语言上均优于标准 HuBERT，并且在 3 种语言中表现更佳，同时最多能够节省 1.5k 小时（75%）有监督训练数据。

    May, 2023

  • 神经语言模型的紧凑预训练方法

    本研究表明，使用抽象摘要和关键词提取等技术，从不结构化的数据中构建一个紧凑的子集，可以更有效地和更快地为传统预训练及任务特定分类器的训练提供有关领域内的信息，减少了预训练时间，并在针对六个不同组合的数据集并使用两种不同的 NLMs 的条件下表现出了优越的结果。

    Aug, 2022

  • Primer AI 的首字母缩写识别和消歧系统

    该研究介绍了新的缩略语识别和消歧方法，并提出了辅助数据集，为科学文档理解的进一步发展做出了贡献。

    Dec, 2020

  • 跨领域自动术语提取中的 Transformer 集成

    本文在多语言跨领域设置中，提出了基于 Transformers 预训练语言模型的术语抽取的预测能力的比较研究。实验结果表明，除了荷兰语和法语之外，在所有语言中应用单语言模型的策略优于利用多语言模型的最先进方法。此外，将两个最佳模型的输出组合起来，可以取得显著的改进。

    Dec, 2022