Feb, 2021

基于 BERT 的多训练策略缩写消歧

PDF
TL;DR提出一种二元分类模型，结合 BERT 和多种训练策略进行缩写消歧识别，实验证明模型的有效性，在 SDU@AAAI-21 共享任务 2 中排名第一。
acronym disambiguationbertbinary classificationnatural language processingscientific field
发现论文，激发创造
  • AT-BERT: 针对缩略语识别的对抗训练 BERT 模型，SDU@AAAI-21 胜利解决方案

    本文提出了一个名为 AT-BERT 的对抗训练 BERT 方法，它采用预训练 BERT 进行更好的语义表示，结合 FGM 对抗性训练策略进行微调，采用多个 BERT 变体的表示，显著提高了 SDU 挑战赛的首字母缩略词识别任务的性能。

    Jan, 2021

  • 利用领域不可知和特定领域知识进行首字母缩写消歧

    本研究提出一种 Hierarchical Dual-path BERT 方法，该方法利用 RoBERTa 和 SciBERT 预训练模型来分别编码通用精细和高级具体表示，用于缩写消歧。实验结果表明，该方法在各种评估指标上均优于现有技术，特别是其宏 F1 达到了 93.73％。

    Jul, 2021

  • Primer AI 的首字母缩写识别和消歧系统

    该研究介绍了新的缩略语识别和消歧方法，并提出了辅助数据集，为科学文档理解的进一步发展做出了贡献。

    Dec, 2020

  • 科技文档理解中的缩略语识别和消歧共享任务

    本文回顾了两个针对科学文献中缩略语识别和消歧的共享任务以及各自的参与系统。

    Dec, 2020

  • ABB-BERT：用于消歧缩写和缩略语的 BERT 模型

    本文介绍了一种基于 BERT 模型的 ABB-BERT 模型，旨在解决包含缩写和收缩词的模糊语言的拼写纠正问题。该模型可以从成千上万的选项中对它们进行排名，并可在 Wikipedia 文本上进行训练，以便在领域或个人方面实现更好的性能。

    Jul, 2022

  • 多语言首字母缩略词抽取的领域自适应预训练

    本论文介绍了我们参加多语言首字母缩略词提取共享任务 SDU@AAAI-22 的发现。我们采用双向长短时记忆网络链条件随机场（BiLSTM-CRF）和多语言 XLM-RoBERTa 嵌入来处理多语言首字母缩略词提取。我们预训练了 XLM-RoBERTa 模型，以进一步适应共享任务的领域。我们的系统（团队：SMR-NLP）在所有语言的首字母缩略词提取方面都取得了竞争性的性能表现。

    Jun, 2022

  • 基于词嵌入的无监督缩略语消歧

    本文提出了一种完全无监督的缩写消岐方法（称为 UAD），它通过从非结构化文本中获取缩写定义，并学习用于表示其不同含义的上下文向量，进而提高其消岐性能，并支持多个含义的成千上万个缩写，是一种高度适用于实际部署的模型。经过充分的实验评估，UAD 在来自不同领域的大型真实数据集上取得了高性能，并超过了基线和最先进方法。

    Apr, 2019

  • 首字母缩写消歧：领域独立方法

    本文提出了一种可通用的缩写歧义消除系统，使用来自 Wikipedia 和 AcronymsFinder.com 的方法获取缩写的所有可能扩展，并使用 Doc2Vec 技术对这些扩展进行打分，最终在一个数据集上取得了 90.9％的准确率。

    Nov, 2017

  • GLADIS: 一个通用且大规模的缩略语消歧基准

    通过构建包含更大的首字母缩略词字典、预训练语料库和三个数据集的新基准 GLADIS，我们基于构建的语料库预训练了一个语言模型 AcroBERT，用于解决一般缩略语消歧问题。

    Feb, 2023

  • 使用术语选择适应 BERT 进行词义消歧的例句目标

    本研究将词义消歧问题作为相关性排序任务，利用数据增强技术和 BERT 等预备语言模型完成域适应学习和迁移学习，在英文全词基准数据集上实现了最新成果。

    Sep, 2020