EMNLPDec, 2022

COVID-19 疫苗搜索分类的稠密特征记忆增强 Transformers

PDF
TL;DR本文提出一种监测 COVID-19 疫苗相关搜索的分类模型，该模型结合了现代最先进的自然语言理解 (NLU) 技术和传统的密集特征，并通过将密集特征视为内存令牌进行了改进，相对于梯度提升基线，在 F1 得分和精度方面实现了 + 15％和 + 14％的相对提高，并可用于生成 COVID-19 疫苗的搜索洞察力。
发现论文，激发创造
  • 使用 Transformer 和 TF-IDF 检测 COVID-19 阴谋论

    研究者通过设计和应用不同的机器学习模型，在探测虚假新闻方面取得了进展，但现有研究对于快速变化的主题和领域特定词汇的虚假新闻重视不够。本文提出了在特定与 COVID-19 相关主题中进行三项虚假新闻检测任务的方法和结果，并试验了一组基于文本的模型，包括支持向量机、随机森林、BERT 和 RoBERTa。发现预训练转换器可以产生最佳的验证结果，但经过智能设计的随机初始化转换器也可以训练达到接近预训练转换器的准确度。

    May, 2022

  • 基于 Transformer 的语言模型微调方法在 COVID-19 假新闻检测中的应用

    本文提出了一种基于变压器的语言模型微调方法，用于检测 COVID-19 假新闻，该方法通过扩展专业短语的语义，适应热身 softmax 损失以区分硬挖掘样本，并通过对抗性训练提高模型的鲁棒性，采用 RoBERTa 和领域专用模型 CT-BERT 提取预测特征，并由一个多层感知器融合细粒度和高级别的特定表示。经 COVID-19 假新闻数据集评估，实验结果在各种评估指标上都表现优越，最好的加权平均 F1 得分为 99.02％。

    Jan, 2021

  • 利用大型语言模型进行 COVID-Tweets 的多标签分类

    构建一个有效的多标签分类器，根据社交媒体帖子（尤其是推文）作者表达的特定疫苗相关担忧，对其进行标签化，比较三种不同的模型，其中 Supervised BERT-large-uncased 模型效果最佳。

    Dec, 2023

  • 利用社交媒体帖子的无监督嵌入聚类预测 COVID-19 病例负载

    通过追踪特定美国州 COVID-19 子版块 Reddit 帖子的句子级表示的高密度聚类，我们将基于转换器的语言模型纳入了传染病建模中，并在许多高质量数据集中进行基准测试。结果表明，除了其他特征类型之外，这些聚类嵌入特征在预测传染病上升趋势信号方面表现最好，对于流行病学数据不可靠的领域具有重要意义。随后，在时间序列预测任务中，我们充分利用了以上模型的预测能力，并比较了使用不同补充数据集作为协变量特征集时，基于转换器的时间序列模型的相对优势。

    May, 2022

  • EdinburghNLP 在 WNUT-2020 任务 2 中的表现：利用通用数据增强和 Transformer 模型鉴别 COVID-19 推文中的信息量

    本文介绍了我们提交的 WNUT-2020 任务 2 的成果：识别信息量大的 COVID-19 英文推文的半监督学习转换器集成模型，它在测试集上取得了 0.9011 的 F1 值（排名第 7），与使用 FastText 嵌入的基准系统相比表现显著提高。

    Sep, 2020

  • 解码问题：社交媒体中疫苗情感的多标签分类

    应对疫苗相关的多样化担忧，本文通过多种先进的自然语言处理技术和机器学习算法，包括 BERT、GPT 3.5、分类器链和传统方法如 SVM、随机森林、朴素贝叶斯，开发了一种强大的多标签分类器，能够根据与疫苗相关的担忧指定特定的关注标签。研究发现，尖端的大型语言模型在这个领域的表现超越其他方法。

    Dec, 2023

  • 基于网格搜索方法的混合深度学习模型的 COVID-19 Twitter 情绪分类

    通过使用嵌入、深度学习模型和网格搜索算法对 Twitter COVID-19 数据集进行情感分类，本研究提出了八种不同的混合深度学习模型，旨在提高模型的整体准确性，研究表明，COVID-19 疫苗接种的公众情绪随时间逐渐改善，所提出的模型在广泛的评估中报告了 98.86% 的增加准确性，超过其他模型。

    Jun, 2024

  • Constraint 2021: COVID-19 虚假新闻检测机器学习模型共享任务

    本研究为 Constraint 2021 年 COVID-19 虚假新闻检测共享任务做出了贡献，提出了将经典机器学习算法与语言学特征相结合的方法，在数据预处理方面进行了多种尝试并得到了不错的结果。通过使用线性支持向量机算法，在测试数据上获得了 95.19% 的加权平均 F1 得分，名列排行榜第 80 位。

    Jan, 2021

  • 基于 Transformer 的新冠病毒相关推文前提分类

    本文提出了基于 Transformer 架构的预测模型，用于在 Twitter 文本中分类前提的存在，具有与其他 Transformer 模型相比更好的性能，并在 Twitter 数据集上取得了有竞争力的表现。

    Sep, 2022

  • 利用众包呼吸声数据开发 COVID-19 的多变量预测模型

    开发了一种深度学习模型用于从声音记录数据中识别 COVID-19，使用声音数据为 COVID-19 诊断提供了有前景的结果。

    Feb, 2024