Mar, 2020

NukeBERT：用于低资源核领域的预训练语言模型

PDF
TL;DR该文提出了一种基于 Bidirectional Encoder Representational Transformers (BERT) 技术的新型预训练模型 NukeBERT，能够有效地提高核能领域问题回答的准确性，并通过开源数据集 NQuAD 促进相关领域的进一步研究。
发现论文，激发创造
  • 核司问答：核领域语言模型的人工基准测试

    这篇论文介绍了一种在核能领域评估语言模型性能的人工测试标准 ——NuclearQA，它由专家设计的 100 个问题组成，针对语言模型的能力进行了测试。论文还提出了一种新的评估指标，发现现有的最优语言模型在该测试标准上的表现不尽人意，揭示了现有语言模型的科学知识差距。

    Oct, 2023

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • 基于 Transformer 的语言模型在抽取式问答中的比较研究

    本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

    Oct, 2021

  • SPBERTQA：一种基于句子 Transformer 的医学文本两阶段问答系统

    本文旨在创建一个提供医疗健康知识问答的越南医疗保健系统，并使用基于 SBERT 的多负面排名损失方法和 BM25 改进的两阶段 QA 系统来评估其性能优于传统方法的表现

    Jun, 2022

  • 自然语言处理方法在问题难度估计中的定量研究

    本研究通过定量分析之前研究中提出的几种方法，比较它们在三个不同教育领域包含不同类型问题的公开真实数据集上的表现，发现基于 Transformer 的模型在跨不同教育领域的 MCQs、科学题和数学题等方面表现最佳，超越其他方法甚至在较小的数据集上也表现得更好。

    May, 2023

  • 生物医学问答预训练语言模型

    本文研究 BioBERT（一种预训练的生物医学语言模型）在回答生物医学问题方面的性能，结果表明使用适当的前 / 后处理策略可以获得最佳性能。

    Sep, 2019

  • CySecBERT: 面向网络安全的领域自适应语言模型

    本文介绍了一个特定于网络安全领域的语言模型，利用预训练的 BERT 模型，构建了一个数据集，并基于该数据集进行了 fine-tuning，在 15 个不同的前沿任务中进行了比较，结果表明该模型在特定应用场景下表现最佳，并且在避免 catastrophic forgetting 方面效果良好。

    Dec, 2022

  • MuCoT: 低资源语言中的多语言对比训练问答

    本文提出一种用于低资源语言的提高问答技术的方法，即通过翻译和转写将问题回答样本扩充到目标语言，利用增广数据微调已经在英语中预训练的 mBERT 问答模型，并引入对翻译问题上下文特征对之间的对比损失来提高不同语言家族的翻译准确性。

    Apr, 2022

  • BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型

    本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

    Jan, 2019

  • SecureBERT：面向网络安全的领域特定语言模型

    本文提出了一个名为 SecureBERT 的新的自然语言处理模型，该模型已使用机器学习算法在大量网络安全数据上进行了训练，能够自动处理网络安全文本（例如 CTI），并成功应用于自动化解决了许多重要的网络安全任务。

    Apr, 2022