利用针对否定的预训练来改善否定检测
本文针对自然语言中否定句的建构,借助负面通用语句的反向学习目标,优化了 BERT 语言模型,将 negated LAMA 数据集的平均 top1 错误率降至 4%,并在 negated NLI 基准测试中看到了一些改进。
May, 2021
本文探讨将迁移学习应用于处理生物医学领域的否定句及其范围分析问题,分析使用 BERT 作为模型的决策选择,并在 3 个数据集上获得了优秀的结果,超过了之前的最佳系统,其中包括 BioScope Corpus,Sherlock Dataset 和 SFU Review Corpus。我们还分析了模型在未经训练的数据集上的普适性。模型的令人满意的性能表明,迁移学习是解决生物医学领域问题的一种强大手段。
Nov, 2019
本文提出了一种多任务方法,通过将否定信息显式地纳入情感分析模型中,以优于隐式学习否定。该方法采用级联神经体系结构,并选择性共享 LSTM 层,同时在多个标准英语数据集上分析了该方法的性能,包括其多种不同设置下的输入数据类型和数量。
Jun, 2019
本文研究分析了 6 个自然语言理解的任务中,八个流行的语料库中的否定词的使用情况,指出这些语料库中的否定词较少且不重要,而最新的 transformers 在处理含有重要的否定词的实例时表现不佳,因此需要新的包含否定词的语料库来解决自然语言理解任务中的问题。
Mar, 2022
本研究针对 LLMs,比如 BERT、GPT-neo、GPT-3 和 InstructGPT 等不同模型,通过实验验证了它们在处理否定句时的局限性,包括对否定句的敏感性不足、无法捕捉词汇语义的否定表述以及在否定条件下推理的失败。
Jun, 2023
本文中,我们提出了一种多任务学习方法,将来自句法和语义辅助任务的信息(包括否定和推测范围检测)结合起来,创建了更具鲁棒性的英语语言模型,以处理定向情感分析中的语言现象,经实验证明,基于多任务和通过语言建模的迁移学习都能提高模型性能,但总体表现仍有改进的空间。我们在此链接上发布了数据集和源代码。
Oct, 2020
通过自动搜集否定语句及其肯定解释,本文提出了一种基于神经网络的生成模型,使得 RoBERTA 分类器在自然语言推理和情感分析任务中得到更好的结果。
Oct, 2022
本研究评估了 Generative Pre-trained Transformer(GPT)模型,特别是 GPT-2、GPT-3、GPT-3.5 和 GPT-4 的否定检测性能,结论显示这些模型在否定检测中性能差异显著,GPT-4 的性能最优,GPT-3.5 则显示出明显的性能下降,并强调了在医疗、科学、法律等高风险领域合理逻辑的重要性
Jun, 2023
本研究旨在演示一种通过词义消歧唯一地评估文本的词汇结构以检测否定的方法,从而解决否定对情感分析的影响,达到更好的准确性,并且在情感分析方面比传统方法有着显著的提高。
Feb, 2023
本文提出基于传统预训练方法的修改方法,以期纠正自动构建样本时可能带来的误伤学习,增强了预训练过程对于真实负样本的学习,实验结果显示该方法可以提高预训练语言模型的性能并增强其健壮性。
Dec, 2022