Oct, 2021

基于 Transformer 的多任务学习用于灾难推文分类

PDF
TL;DR本研究采用基于 Transformer 的多任务学习方法，对社交媒体上发布的求助信息进行分类和优先级评估，在 TREC INCIDENT STREAMS 赛道上获得了与其他参赛队伍相当的成绩，其中采用集成方法能够进一步提高准确率，本研究将其代码公开，为未来相关研究提供了基准。
social mediaemergency responsemulti-task learningdisaster tweet classificationtransformer encoders
发现论文，激发创造
  • 利用实体掩蔽语言建模和多任务学习提高危机相关推文分类

    该研究提出了一种基于实体屏蔽语言建模和层次化多标签分类的多任务学习方法，以解决社交媒体危机管理中的事件相关偏差和高度不均衡标签分布问题，并在 TREC-IS 数据集上表现出高达 10% 的 F1 得分绝对性能提升。同时，实体屏蔽可以减少过度拟合和提高跨事件泛化能力。

    Nov, 2022

  • 基于多个变压器的洪水相关推特帖子相关性分类

    该论文主要研究社交媒体在灾难和紧急情况下作为信息来源的潜力和挑战，并提出了一种基于文本分类的框架来处理 Twitter 噪声数据，通过使用多个 transformers 模型最终达到了 F1-score 0.87 的高分数。

    Jan, 2023

  • 社交媒体辅助危机管理中有监督分类和无监督主题建模之间的桥梁

    采用 BERT 嵌入并进行微调可以适应新危机，发现新主题，并从受监督训练中保留相关类别，利用双向自注意力提取主题关键词。其在人工和自动评估中胜过传统主题模型。

    Mar, 2021

  • CrisisSense-LLM：灾难信息学中用于多标签社交媒体文本分类的指令微调大型语言模型

    通过对事先训练的大型语言模型（LLM）进行指令微调，将其嵌入灾害特定知识，从而实现对灾害相关推文的多标签分类，提高社交媒体数据在灾难情境感知中的效用。

    Jun, 2024

  • 用图神经网络增强的语言模型进行高效的多语言文本分类

    提出了一种基于图神经网络和变压器的跨语言灾难相关文本分类系统，该系统可以在有限的监督下工作，并在多种语言和单语言情境下进行分类。在英语、非英语和单语数据集上测试，该系统的加权 F1 值优于现有的最先进模型和多语言 BERT 基线。

    Mar, 2022

  • 基于 BERT 语言模型的灾难推文分类

    利用机器学习语言模型对社交网站的帖子进行监测，以便能够及时地确定是否有人或地区处于危险之中，从而更好地进行应急处置。

    Jan, 2022

  • 基于命名实体识别和主题建模的社交媒体中自然灾害定位和评估的解决方案

    在这篇论文中，我们提出了一个三步解决方案，旨在充分利用社交媒体内容和自然语言处理技术，实现灾害信息学中的相关分类、地点提取和主题建模，以应对社交媒体内容中的挑战。

    May, 2024

  • EdinburghNLP 在 WNUT-2020 任务 2 中的表现：利用通用数据增强和 Transformer 模型鉴别 COVID-19 推文中的信息量

    本文介绍了我们提交的 WNUT-2020 任务 2 的成果：识别信息量大的 COVID-19 英文推文的半监督学习转换器集成模型，它在测试集上取得了 0.9011 的 F1 值（排名第 7），与使用 FastText 嵌入的基准系统相比表现显著提高。

    Sep, 2020

  • 危机转型：面向危机相关社交媒体文本的预训练语言模型和句子编码器

    社交媒体平台在危机传播中起着重要作用，但由于其非正式性质，分析危机相关的社交媒体文本具有挑战性。为了解决危机信息学文献中的这些差距，本研究引入了 CrisisTransformers，这是一个预训练语言模型和句子编码器的集合，它们经过广泛的语料库训练，包含了超过 150 亿词元的推文，涉及 30 多个危机事件，包括疾病爆发、自然灾害、冲突和其他重大事件。评估现有模型和 CrisisTransformers 在 18 个危机特定的公共数据集上表现，我们的预训练模型在所有数据集的分类任务中都优于强基线，而我们表现最佳的句子编码器在句子编码任务中将现有技术水平提高了 17.43%。此外，我们研究了模型初始化对收敛性的影响，并评估了领域专用模型在生成语义有意义的句子嵌入中的重要性。所有模型已公开发布，以期成为分析危机相关社交媒体文本任务的强大基准。

    Sep, 2023

  • 处理社交媒体危机信息分类的数据稀缺问题

    该论文着眼于解决分类危机信息难以获取数据的挑战，提出了通过域自适应来学习分类模型并应用于多对多危机事件之间的信息过滤，进而证明该方法的有效性。

    May, 2023