Dec, 2022

跨领域自动术语提取中的 Transformer 集成

PDF
TL;DR本文在多语言跨领域设置中，提出了基于 Transformers 预训练语言模型的术语抽取的预测能力的比较研究。实验结果表明，除了荷兰语和法语之外，在所有语言中应用单语言模型的策略优于利用多语言模型的最先进方法。此外，将两个最佳模型的输出组合起来，可以取得显著的改进。
automatic term extractionpretrained language modelstransformersmultilingual modelsensemble models
发现论文，激发创造
  • 多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

    本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

    Jul, 2022

  • 领域术语整合到机器翻译：利用大型语言模型

    本文介绍了我们在德英（DE-EN）、英捷（EN-CS）和中英（ZH-EN）语言对上提交给 WMT 2023 术语共享任务的方法，通过使用大型语言模型（LLMs）生成二语合成数据并将预批准术语整合入机器翻译（MT）中，成功地提高了术语的使用率。

    Oct, 2023

  • UPB 在 IberLEF-2023 AuTexTification 中的使用：使用 Transformer 集成检测机器生成的文本

    该研究论文描述了 UPB 团队在 IberLEF-2023 的 AuTexTification 共享任务中提交的解决方案，主要使用基于 Transformer 的深度学习模型以及多任务学习等训练技术，最佳模型在英语和西班牙语数据集上分别达到了 66.63% 和 67.10% 的宏 F1 分数。

    Aug, 2023

  • SemEval-2022 任务 11 中的多语言人士：基于 Transformer 的复杂 NER 架构

    本文研究了英文语言的复杂 NER 任务，使用预训练语言模型如 BERT 取得竞争性成绩，并 qualitatively 分析了多种架构在此任务上的表现，最佳模型相比 baseline F1-score 提升了超过 9%。

    Apr, 2022

  • 使用知识图谱增强的 Transformer 进行跨领域方面提取

    本文介绍了一种自动构建领域特定知识图谱的方法，并通过将其注入到 Transformer 模型中以识别 aspect terms，提高了跨域情感分析中的性能表现。

    Oct, 2022

  • 集成迁移学习用于多语言指代消解

    本研究提出了一种基于集成方法和迁移学习的框架以及一种低成本的迁移学习方法，用于解决非英语语言的实体共指消解问题，并在 Arabic，Dutch 和 Spanish 三种语言上取得了新的最先进结果。

    Jan, 2023

  • AILAB-Udine@SMM4H 22: Transformers 和 BERT 集合的极限

    AILAB-Udine 团队在 SMM4H 22 共享任务中使用 Transformer-based 模型进行了文本分类、实体提取和实体归一化，并探索了集成学习的不同架构的协同效应和生成模型在术语规范化方面的巨大潜力。

    Sep, 2022

  • 使用大型预训练语言模型的低资源命名实体识别：SemEval-2022 任务 11 中的 SFE-AI

    本文描述我们在 SemEval 2022 任务 11 中使用 Transformer 层自适应地整合多个预训练语言模型进行实体识别，在波斯语和荷兰语方面表现优异。

    May, 2022

  • 使用 BERT 实现通用语言命名实体识别

    本文研究了一种基于多语言 BERT 的单一命名实体识别模型，使用多任务学习和分块更新规则等正则化策略优化模型，并证明在多种语言数据集上表现优于专注于单一语言模型，并能够进行零样本预测。

    Nov, 2019

  • 使用预训练语言模型集成的简答评分

    本研究探讨了利用 Kaggle 自动化短问题评分数据集，通过微调一系列的小型、基础型、大型预训练 Transformer 语言模型，并训练一个特征模型来测试这些模型的集成的有效性。观察到较大的模型通常表现稍好，但它们仍无法自己达到最优结果，只有通过大量网络集成才能产生最优结果，但这些集成过于庞大，无法应用于实际生产环境。

    Feb, 2022