Sep, 2022

基于领域特定 Transformer 模型和文本过采样的 Covid-19 疫苗社交媒体帖子情感分析适应性

PDF
TL;DR本研究使用预训练的 transformer 模型对 Covid-19 疫苗相关的推文进行 fine-tune，结合 LMOTE 方法进行文本生成，来识别社交媒体帖子中与疫苗相关的正确情感。研究结果说明了文本生成对于预训练 transformer 模型 fine-tune 的适用性以及针对分类任务的领域特定 transformer 模型的效用。
covid-19vaccinessentimentstransformer modelslmote
发现论文，激发创造
  • 基于 Transformer 的语言模型微调方法在 COVID-19 假新闻检测中的应用

    本文提出了一种基于变压器的语言模型微调方法，用于检测 COVID-19 假新闻，该方法通过扩展专业短语的语义，适应热身 softmax 损失以区分硬挖掘样本，并通过对抗性训练提高模型的鲁棒性，采用 RoBERTa 和领域专用模型 CT-BERT 提取预测特征，并由一个多层感知器融合细粒度和高级别的特定表示。经 COVID-19 假新闻数据集评估，实验结果在各种评估指标上都表现优越，最好的加权平均 F1 得分为 99.02％。

    Jan, 2021

  • COVID-Twitter-BERT：一个用于分析 Twitter 上 COVID-19 内容的自然语言处理模型

    该论文介绍了基于 transformer 的 COVID-Twitter-BERT 模型，通过对大量 Twitter 上有关 COVID-19 的消息进行预训练，该模型在五个不同的分类数据集上相较于 BERT-Large 基础模型提高了 10-30％，特别是在 COVID-19 内容（尤其是来自 Twitter 的社交媒体帖子）的分类中表现更突出，从而实现了优化。该模型可以用于文本分类、问答和聊天机器人等自然语言处理任务。

    May, 2020

  • 基于 BERT 模型的 COVID-19 相关推文的虚假新闻检测和情感分析

    我们的团队 “techno” 参加了 CERIST'22 共享任务，利用自然语言处理工具和 BERT 预训练语言模型，对与 COVID-19 疫情有关的 4128 个推文进行了情感分析和 8661 个推文进行了虚假新闻检测任务，并获得了情感分析任务 0.93 的准确度和虚假新闻检测任务 0.90 的准确度。

    Apr, 2023

  • 基于 Transformer 的情感检测方法

    本研究探讨了采用不同类型的最先进的转换器模型对文本分类的性能，发现其中 RoBERTa 模型在测试数据集上表现最佳，可用于文本中灾难的检测。此外，我们发现预处理技术，词汇表中单词的性质，不平衡标签和模型参数对学习算法的性能产生影响。

    Mar, 2023

  • 基于网格搜索方法的混合深度学习模型的 COVID-19 Twitter 情绪分类

    通过使用嵌入、深度学习模型和网格搜索算法对 Twitter COVID-19 数据集进行情感分类，本研究提出了八种不同的混合深度学习模型，旨在提高模型的整体准确性，研究表明，COVID-19 疫苗接种的公众情绪随时间逐渐改善，所提出的模型在广泛的评估中报告了 98.86% 的增加准确性，超过其他模型。

    Jun, 2024

  • 基于 Transformer 的自动 COVID-19 假新闻检测系统

    本文报告了一种基于 Transformer 模型（BERT、ALBERT 和 XLNET）的方法来分析 COVID-19 流行病期间社交媒体上共享信息的可靠性，以便快速检测假新闻，减少假信息的传播，该方法在 ConstraintAI 2021 共享任务 COVID19 Fake News Detection in English 中获得了 0.9855 的 f1 值，排名第 5。

    Jan, 2021

  • 使用 Transformer 和 TF-IDF 检测 COVID-19 阴谋论

    研究者通过设计和应用不同的机器学习模型，在探测虚假新闻方面取得了进展，但现有研究对于快速变化的主题和领域特定词汇的虚假新闻重视不够。本文提出了在特定与 COVID-19 相关主题中进行三项虚假新闻检测任务的方法和结果，并试验了一组基于文本的模型，包括支持向量机、随机森林、BERT 和 RoBERTa。发现预训练转换器可以产生最佳的验证结果，但经过智能设计的随机初始化转换器也可以训练达到接近预训练转换器的准确度。

    May, 2022

  • EdinburghNLP 在 WNUT-2020 任务 2 中的表现：利用通用数据增强和 Transformer 模型鉴别 COVID-19 推文中的信息量

    本文介绍了我们提交的 WNUT-2020 任务 2 的成果：识别信息量大的 COVID-19 英文推文的半监督学习转换器集成模型，它在测试集上取得了 0.9011 的 F1 值（排名第 7），与使用 FastText 嵌入的基准系统相比表现显著提高。

    Sep, 2020

  • 使用基于 Transformer 模型的不同比较方法进行 COVID-19 虚假新闻检测的研究

    该研究利用基于转换器的五种模型 (BERT、BERT without LSTM、ALBERT、RoBERTa 和 BERT & ALBERT 混合) 对 COVID 19 虚假新闻进行比较分析，其中 RoBERTa 模型在真假两类中均获得 0.98 的 F1 得分，相比其他模型表现更佳。

    Aug, 2022

  • 基于 Transformer 的新冠病毒相关推文前提分类

    本文提出了基于 Transformer 架构的预测模型，用于在 Twitter 文本中分类前提的存在，具有与其他 Transformer 模型相比更好的性能，并在 Twitter 数据集上取得了有竞争力的表现。

    Sep, 2022