Mar, 2022

CoNTACT: 一种适用于荷兰 COVID-19 的 BERT 模型，用于疫苗犹豫和论证检测

PDF
TL;DR利用 2021 年发布的 280 万条荷兰语 COVID-19 相关推文进行预训练的 CoNTACT 模型，相比于 RobBERT，在两项任务中（二元疫苗犹豫检测和检测疫苗犹豫的论据）均表现出显著的性能提升，证明了领域自适应的重要性，并且使得 CoNTACT 在领域特定词汇的表示上更加精准。
contactdutch language modelcovid-19 tweetsvaccine hesitancy detectiondomain adaptation
发现论文，激发创造
  • COVID-Twitter-BERT：一个用于分析 Twitter 上 COVID-19 内容的自然语言处理模型

    该论文介绍了基于 transformer 的 COVID-Twitter-BERT 模型，通过对大量 Twitter 上有关 COVID-19 的消息进行预训练，该模型在五个不同的分类数据集上相较于 BERT-Large 基础模型提高了 10-30％，特别是在 COVID-19 内容（尤其是来自 Twitter 的社交媒体帖子）的分类中表现更突出，从而实现了优化。该模型可以用于文本分类、问答和聊天机器人等自然语言处理任务。

    May, 2020

  • UIT-HSE 在 WNUT-2020 任务 2 中利用 CT-BERT 识别 Twitter 社交网络上的 COVID-19 信息

    以 COVID-Twitter-BERT (CT-BERT) 为基础的变形器模型和微调技术可以有效地识别有用的 COVID-19 相关的 Twitter 帖子，获得了 2020 年 W-NUT 共享任务 2 中排名第三的 F1 分数为 90.94％

    Sep, 2020

  • BERT 模型检测 COVID-19 疫苗反对推文时间间隔增加

    通过使用深度学习的自然语言处理模型 BERT，该研究针对社交媒体上抗疫苗言论的高峰期间，对 1506 条推文进行了分类，并可视化了其随时间变化的趋势，从而为机构制定反击抗疫苗言论的策略提供了数据支持。

    Jan, 2022

  • 利用机器学习从南非推特数据中检测 COVID-19 疫苗犹豫的存在

    通过手工标记方法分析南非推文中的疫苗犹豫情绪，建立 AI 分类模型，并评估其在 UGC 分类中的可靠性。在 30000 个南非推文数据集上，使用 LSTM、bi-LSTM、SVM、BERT-base-cased 和 RoBERTa-base 模型进行情感分析。其中，BERT 和 RoBERTa 模型的整体 F1 得分分别达到 60% 和 61%。采用 LDA 主题建模以改进 RoBERTa 模型的准确性。

    Jul, 2023

  • 基于 BERT 模型的 COVID-19 相关推文的虚假新闻检测和情感分析

    我们的团队 “techno” 参加了 CERIST'22 共享任务，利用自然语言处理工具和 BERT 预训练语言模型，对与 COVID-19 疫情有关的 4128 个推文进行了情感分析和 8661 个推文进行了虚假新闻检测任务，并获得了情感分析任务 0.93 的准确度和虚假新闻检测任务 0.90 的准确度。

    Apr, 2023

  • 使用 BERT 对具有信息价值的 COVID-19 推文进行分类的 WNUT-2020 任务 2 的 Dartmouth CS

    该篇论文描述了在 WNUT-2020 共享任务 2 中开发的针对 COVID-19 英文推文信息识别的系统。研究者团队利用 BERT 模型进行了文本分类任务，并且通过对 BERT 模型的微调以及将其嵌入特征与推文特定特征连接后再采用支持向量机（SVM）进行训练（即 BERT +），并与一组机器学习模型进行性能比较。结果表明 BERT + 模型在 F1-score 评估指标上得分最高为 0.8713。

    Dec, 2020

  • 使用 BERT 的 COVID-19 谣言检测二阶分类器：对印尼推文的研究

    本研究通过构建印度尼西亚语 COVID-19 Tweets 语料库，并使用 IndoBERT 预训练语言模型建立分类器模型，对 tweets 中的信息进行关联度和虚假性评估，结果表明，我们的模型精度达到了 87.02％。

    Jun, 2022

  • RobBERT-2022: 更新荷兰语言模型以适应语言使用的演变

    该研究对 RobBERT 进行了更新，更新了 tokenizer 和数据集，使用新模型取代模型更新的效果显著，证明持续更新语言模型可以提高性能。

    Nov, 2022

  • WNUT-2020 任务 2: 使用集成和对抗训练稳健地识别有价值的 COVID-19 推文的 NutCracker

    使用 COVID-Twitter-BERT 和 RoBERTa 模型实验性地识别 COVID-19 推文，进一步实验了对抗性训练，使我们的模型更加稳健，模型集成达到了 WNUT-2020 任务 2 测试数据中的 0.9096 的 F1 得分，并在排行榜上排名第一，对抗性训练的模型集成也产生了类似的结果。

    Oct, 2020

  • RobBERT: 一种基于 RoBERTa 的荷兰语言模型

    本研究使用 RobBERT 作为荷兰语预训练模型，对各种任务的执行效果进行了测量，包括用于微调的数据集规模的重要性以及模型的公平性。研究发现，RobBERT 在各种任务上都可以提供良好的性能，并且在处理较小的数据集时明显优于其他模型，这表明它是适用于多种荷兰语任务的功能强大的预训练模型。

    Jan, 2020