CrisisSense-LLM:灾难信息学中用于多标签社交媒体文本分类的指令微调大型语言模型
该研究提出了一种基于实体屏蔽语言建模和层次化多标签分类的多任务学习方法,以解决社交媒体危机管理中的事件相关偏差和高度不均衡标签分布问题,并在 TREC-IS 数据集上表现出高达 10% 的 F1 得分绝对性能提升。同时,实体屏蔽可以减少过度拟合和提高跨事件泛化能力。
Nov, 2022
社交媒体平台上关于自然灾害的实时信息在通知志愿者、应急管理人员和救援组织方面起到关键作用。然而,监测灾害事件的监督学习模型需要大量标注数据,使得其在实时灾害事件中难以实现。为了应对这一挑战,我们提出了一种在半监督少样本学习条件下的细粒度灾害推文分类模型,仅需小量标注数据。我们的模型 CrisisMatch 利用少量标注数据和大量无标注数据有效地将推文分类为感兴趣的细粒度类别,模拟灾害的早期阶段。通过集成有效的半监督学习方法和引入 TextMixUp,CrisisMatch 在两个灾害数据集上平均提升了 11.2% 的性能。此外,我们还对标注数据数量和领域外结果的影响进行了进一步分析。
Oct, 2023
研究实时分析信息以快速危机响应,并利用过去灾害的已标记数据进行跨语言域适应,以训练分类器。在同一类型和相似语言的事件中,过去的标记对分类器训练有用,并且穿越语言域适应有助于不同语言(如意大利语和西班牙语),而对于不同语言(如意大利语和英语),性能会降低。
Feb, 2016
通过使用开放源代码的大型语言模型 LLAMA2,我们介绍了一种新的方法来从社交媒体帖子和直接应急信息中识别和分类紧急情况,旨在利用自然语言处理和机器学习的力量,为公共安全通信员和大规模人群在全国范围内的紧急情况提供帮助,并开发了一种语言模型,使其能够理解用户在 911 呼叫中描述的情况,使 LLAMA2 能够分析内容并向通信员提供相关指示,并在必要时创建工作流程以通知政府机构与呼叫者信息。这种语言模型的另一个好处是在 911 系统不堪重负时能够帮助用户提供简单的指导并向相关部门提供其位置和紧急信息。
Jan, 2024
利用大型语言模型监测社交媒体网络中自然灾害对重要基础设施设施的影响,包括分类和推理任务,虽然大型语言模型在分类任务中表现良好,但在推理任务中遇到挑战,尤其是当上下文 / 提示复杂而冗长时。
Apr, 2024
本文通过弱监督学习建立高质量的社交媒体紧急信息分类器,使用 Twitter 上的微博信息以及事件关键词帮助快速生成高质量的标签化数据,利用前续信息和回复信息来丰富微博表示方法以处理嘈杂短小的用户生成信息,且仅需 1-2 人时的人工监督即可在两次飓风期间实现优于需要 50 人时手动标注的管理分类器。
Oct, 2020
提出了一种基于图神经网络和变压器的跨语言灾难相关文本分类系统,该系统可以在有限的监督下工作,并在多种语言和单语言情境下进行分类。在英语、非英语和单语数据集上测试,该系统的加权 F1 值优于现有的最先进模型和多语言 BERT 基线。
Mar, 2022
本研究采用基于 Transformer 的多任务学习方法,对社交媒体上发布的求助信息进行分类和优先级评估,在 TREC INCIDENT STREAMS 赛道上获得了与其他参赛队伍相当的成绩,其中采用集成方法能够进一步提高准确率,本研究将其代码公开,为未来相关研究提供了基准。
Oct, 2021
采用 BERT 嵌入并进行微调可以适应新危机,发现新主题,并从受监督训练中保留相关类别,利用双向自注意力提取主题关键词。其在人工和自动评估中胜过传统主题模型。
Mar, 2021