NegBERT：一种用于否定识别和范围解析的迁移学习方法

Nov, 2019

NegBERT：一种用于否定识别和范围解析的迁移学习方法

NegBERT: A Transfer Learning Approach for Negation Detection and Scope Resolution

Aditya Khandelwal, Suraj Sawant

TL;DR本文探讨将迁移学习应用于处理生物医学领域的否定句及其范围分析问题，分析使用 BERT 作为模型的决策选择，并在 3 个数据集上获得了优秀的结果，超过了之前的最佳系统，其中包括 BioScope Corpus，Sherlock Dataset 和 SFU Review Corpus。我们还分析了模型在未经训练的数据集上的普适性。模型的令人满意的性能表明，迁移学习是解决生物医学领域问题的一种强大手段。

Abstract

Negation is an important characteristic of language, and a major component of information extraction from text. This subtask is of considerable importance to the biomedical domain. Over the years, multiple approaches have been explored to address this problem: Rule-based systems, Machi

biomedical domain negation detection scope resolution transfer learning bert

发现论文，激发创造

自然语言推理在生物医学问答中的可迁移性

本文提出了一种在生物医学问答任务中应用预训练语言模型和迁移学习的方法，并通过实验证明优化迁移学习任务的顺序可以显著提高其性能。

Jul, 2020

基于可转移 BERT 的故事结局预测

本研究旨在研究一种可转移的 BERT 训练框架，该框架不仅可以从大规模未标记数据中转移一般语言知识，还可以从各种语义相关的监督任务中转移特定类型的知识以用于目标任务。在本实验中，提出了利用三种转移任务，包括自然语言推理、情感分类和下一动作预测，以进一步训练预训练模型的思想，并将故事结尾预测作为目标任务进行实验。最终结果，准确率达到了 91.8％，明显优于先前最先进的基线方法。同时，进行了一些比较实验，给出了一些关于如何选择转移任务的有益建议。通过误差分析，还显示了基于 BERT 的模型在故事结尾预测中的优势和劣势。

May, 2019

基于 BERT 的在线社交媒体仇恨言论检测的迁移学习方法

本研究提出了一种基于 BERT 和 Transfer Learning 的新型方案，以捕获社交媒体内容中的仇恨语境，并证明该方案能有效解决标注数据不足和存在偏差的问题，使得模型性能得到提升。

Oct, 2019

SentiBERT：一种可迁移的基于 Transformer 的组合情感语义架构

本文介绍一种使用二进制组合成分句法树的上下文化表示法的改进型 BERT 模型 - SentiBERT，可有效地捕捉语义组合的情感语义。使用细致的实验证明，SentiBERT 在短语级情感分类方面具有竞争力，并且其他情感分类任务和相关任务均可使用从 SST 短语级注释中学习的情感组成部分进行转化；此外，还进行了消融研究和设计可视化方法以了解 SentiBERT 的性能，结果表明 SentiBERT 比基线模型更擅长捕捉否定和对比关系，模拟情感组成语义的建模。

May, 2020

从生物医学文献中进行意图识别和实体提取

通过全面的实证评估，我们表明在生物医学文本中，受监督的微调方法仍然相关且比通用性的大型语言模型更有效，如 PubMedBERT 可以仅凭 5 个受监督示例就能在命名实体识别任务上超过 ChatGPT。

Apr, 2024

双向语言建模在生物医学命名实体识别中的有效应用

本文研究了如何利用无标注文本数据来改善生物医学 NER 模型的性能，通过训练一个双向语言模型（BiLM）以预训练一个与 BiLM 相同结构的 NER 模型，结果表明这种方法能够显著提高模型性能，并且能够加快模型训练速度，减少训练样本数量。

Nov, 2017

通过转移学习的自然语言处理研究：情感分析实证研究

通过预训练的 BERT 模型实现传递学习来增加情感分类的准确性，虽然结果完全正确，但仍需要进一步研究来验证模型的泛化能力。

Nov, 2023

有限数据下的信息提取迁移学习

本文提出了一种通过使用转移学习的方法，并结合深度神经网络和统计分类器的结合来进行信息提取，将该方法应用于日本政府工程竞标实际案例的文档处理中，证明了该模型能够提取具有详细信息精度的细粒度命名实体。

Mar, 2020

基于 Transformer 的情感检测方法

本研究探讨了采用不同类型的最先进的转换器模型对文本分类的性能，发现其中 RoBERTa 模型在测试数据集上表现最佳，可用于文本中灾难的检测。此外，我们发现预处理技术，词汇表中单词的性质，不平衡标签和模型参数对学习算法的性能产生影响。

Mar, 2023

使用 BERT 实现通用语言命名实体识别

本文研究了一种基于多语言 BERT 的单一命名实体识别模型，使用多任务学习和分块更新规则等正则化策略优化模型，并证明在多种语言数据集上表现优于专注于单一语言模型，并能够进行零样本预测。

Nov, 2019