May, 2022

使用 seBERT 预测问题类型

PDF
TL;DR本文介绍了一种基于 BERT 架构的新型模型 seBERT，通过对该模型进行 微调，针对 NLBSE 挑战任务的问题类型预测，我们的模型在召回率和精确度上 均优于基准 fastText 模型，最终取得了 85.7% 的 F1 分数，比基准模型提高了 4.1%。
发现论文，激发创造
  • 基于 Transformer 的情感检测方法

    本研究探讨了采用不同类型的最先进的转换器模型对文本分类的性能，发现其中 RoBERTa 模型在测试数据集上表现最佳，可用于文本中灾难的检测。此外，我们发现预处理技术，词汇表中单词的性质，不平衡标签和模型参数对学习算法的性能产生影响。

    Mar, 2023

  • SemEval-2017 任务 4: 使用 BERT 进行 Twitter 情感分析

    使用 BERT 模型对 SemEval2017 中 Twitter 上的英语情感分析任务 4A 进行解决，在训练数据量较小的分类任务中，BERT 是一个非常强大的大型语言模型。使用此模型进行实验时，我们使用了包含 12 个隐藏层的 BERT BASE 模型，该模型在准确性、精确率、召回率和 F1 分数上优于朴素贝叶斯基线模型，在二分类子任务中表现更好，我们还在实验过程中考虑了所有种类的伦理问题，因为 Twitter 数据包含个人和敏感信息。我们在此 GitHub 存储库中提供了实验中使用的数据集和代码。

    Jan, 2024

  • SemEval-2022 任务 11 中的多语言人士：基于 Transformer 的复杂 NER 架构

    本文研究了英文语言的复杂 NER 任务，使用预训练语言模型如 BERT 取得竞争性成绩，并 qualitatively 分析了多种架构在此任务上的表现，最佳模型相比 baseline F1-score 提升了超过 9%。

    Apr, 2022

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • 基于 Transformer 模型的新闻标题生成技术进展

    本文通过对 mBART 和 BertSumAbs 两种基于预训练 Transformer 模型的微调，在俄语新闻 RIA 和 Lenta 数据集上获得了新的最优结果，其中 BertSumAbs 分别将 ROUGE 提高了 2.9 和 2.0 个百分点。

    Jul, 2020

  • BERTSel：基于预训练模型的答案选择

    使用预训练模型 BERT 进行微调以提高答案选择任务的性能并在五个数据集上获得 STOA 结果

    May, 2019

  • 如何为文本分类微调 BERT?

    研究 BERT 语言模型在文本分类任务上的微调方法，提供一般的解决方案，并在 8 个广泛研究的文本分类数据集上取得了最新的最好结果。

    May, 2019

  • FinBERT：使用预训练语言模型进行金融情感分析

    本文提出了一种名为 FinBERT 的基于 BERT 预训练语言模型，用于在金融领域处理自然语言处理任务，实验结果表明它在当前两个金融情感分析数据集上的表现优于现有的机器学习方法。

    Aug, 2019

  • 基于 Transformer 模型（BERT，ALBERT 和 RoBERTa）在假新闻检测中的性能分析

    该研究探索了 transformer 模型，发现 ALBERT 在检测印尼语假新闻方面表现最佳

    Aug, 2023

  • BERT 与传统机器学习文本分类的比较

    本文通过实验测试，比较机器学习中经典的 TF-IDF 法与 BERT 模型在 NLP 任务中的表现，并为使用 BERT 模型提供了实证支持，结果表明 BERT 模型在 NLP 问题中表现更优秀、更独立。

    May, 2020