Jul, 2022

ABB-BERT：用于消歧缩写和缩略语的 BERT 模型

PDF
TL;DR本文介绍了一种基于 BERT 模型的 ABB-BERT 模型，旨在解决包含缩写和收缩词的模糊语言的拼写纠正问题。该模型可以从成千上万的选项中对它们进行排名，并可在 Wikipedia 文本上进行训练，以便在领域或个人方面实现更好的性能。
abbreviationscontractionsbert-based modelspelling correctionwikipedia
发现论文，激发创造
  • 基于 BERT 的多训练策略缩写消歧

    提出一种二元分类模型，结合 BERT 和多种训练策略进行缩写消歧识别，实验证明模型的有效性，在 SDU@AAAI-21 共享任务 2 中排名第一。

    Feb, 2021

  • 一种用于医学术语缩写消歧的神经主题注意力模型

    提出了一种少样本学习方法，使用神经主题 - 注意力模型来改进具有主题信息的上下文化句子表示，以在短量非平衡训练数据集上显著提高医学术语缩略语消歧的性能，尤其是针对罕见意义，已有的稀缺注释数据集不准确和缺失，需要进行修正和补充。

    Oct, 2019

  • AT-BERT: 针对缩略语识别的对抗训练 BERT 模型，SDU@AAAI-21 胜利解决方案

    本文提出了一个名为 AT-BERT 的对抗训练 BERT 方法，它采用预训练 BERT 进行更好的语义表示，结合 FGM 对抗性训练策略进行微调，采用多个 BERT 变体的表示，显著提高了 SDU 挑战赛的首字母缩略词识别任务的性能。

    Jan, 2021

  • 医学缩写消歧的标记分类

    本研究旨在探究利用 token 分類方法來消除醫學縮寫的歧義性。使用公開數據集比較多種預先訓練的文本分類算法，其中以 SciBERT 模型效果最佳，並發現對預測結果進行後處理可以有效提高文本分類算法對醫學縮寫消除歧義性的準確性。

    Oct, 2022

  • MathBERT：用于数学教育中通用自然语言处理任务的预训练语言模型

    本研究的目的是为了提高应用自然语言处理在数学教育中的效果，我们提出了 MathBERT，一种专门针对数学文本域的预训练模型。MathBERT 在基于数学语料库上的三个自然语言处理任务中表现出优异的性能，我们还采用了一种数学特定的词汇表来进一步提高模型的性能。我们公开了 MathBERT 的模型参数以供公众使用。

    Jun, 2021

  • 利用大型语言模型进行上下文感知缩略语扩展

    为了加速严重运动障碍者在辅助和替代交流中的文本输入，我们提出了一种方法，该方法通过将短语缩写为主要的单词首字母来拓展缩写，利用预先训练的大型语言模型（LLMs）来利用会话上下文。通过在四个公共会话数据集上进行零样本、少样本和微调实验，我们展示 LLM 能够精确地扩展高达 70% 的缩写短语，包括具有长达 10 个单词的缩写短语。这种方法有效地节省了高达约 77% 的击键率。添加一个简短的会话回合的上下文比没有上下文的精确率高出一倍以上，这种效应在较长的短语中更为显著。此外，模型对于打字错误的鲁棒性可以通过在嘈杂的数据上进行微调来增强。

    May, 2022

  • 深度情境化的生物医学缩写扩展

    本文介绍了一种名为 DEep Contextualized Biomedical Abbreviation Expansion（DECBAE）模型，该模型通过普通医学期刊摘要，利用简单启发式方法自动收集 950 个模棱两可的缩略语的上下文，并使用 BioELMo 从中提取单词的上下文化特征，将这些特征反馈给特定于缩略语的双向 LSTMs，以分配确切的定义。该模型在各项指标上均胜过其他基线模型和人类表现，并在不平衡、低资源和临床设置下保持稳定。

    Jun, 2019

  • BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型

    本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

    Jan, 2019

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • 利用领域不可知和特定领域知识进行首字母缩写消歧

    本研究提出一种 Hierarchical Dual-path BERT 方法，该方法利用 RoBERTa 和 SciBERT 预训练模型来分别编码通用精细和高级具体表示，用于缩写消歧。实验结果表明，该方法在各种评估指标上均优于现有技术，特别是其宏 F1 达到了 93.73％。

    Jul, 2021