Sep, 2023

危机转型：面向危机相关社交媒体文本的预训练语言模型和句子编码器

PDF
TL;DR社交媒体平台在危机传播中起着重要作用，但由于其非正式性质，分析危机相关的社交媒体文本具有挑战性。为了解决危机信息学文献中的这些差距，本研究引入了 CrisisTransformers，这是一个预训练语言模型和句子编码器的集合，它们经过广泛的语料库训练，包含了超过 150 亿词元的推文，涉及 30 多个危机事件，包括疾病爆发、自然灾害、冲突和其他重大事件。评估现有模型和 CrisisTransformers 在 18 个危机特定的公共数据集上表现，我们的预训练模型在所有数据集的分类任务中都优于强基线，而我们表现最佳的句子编码器在句子编码任务中将现有技术水平提高了 17.43%。此外，我们研究了模型初始化对收敛性的影响，并评估了领域专用模型在生成语义有意义的句子嵌入中的重要性。所有模型已公开发布，以期成为分析危机相关社交媒体文本任务的强大基准。
social media platformscrisis-related textscrisistransformerspre-trained modelssentence embeddings
发现论文，激发创造
  • 危机相关社交媒体文本的语义丰富跨语言句子嵌入

    通过使用多语言句子编码器，我们提出了一种能够为 50 多种语言中的相关社交媒体文本进行嵌入的模型，以使具有相似含义的文本在相同的向量空间中靠近，无论语言多样性如何。研究结果对句子编码和匹配任务表现出良好的性能，表明这些模型可以作为嵌入多语言危机相关社交媒体文本时的强大基准模型。

    Mar, 2024

  • CrisisBERT：用于危机分类和语境嵌入的强大 Transformer

    本文提出了基于 Transformer 的 CrisisBERT 模型和基于 Attention 的 Crisis2Vec 架构，分别用于危机检测、危机识别和危机嵌入，相较于传统方法，该架构表现出更好的性能和稳健性，在危机事件领域中，具有更好的应用前景。

    May, 2020

  • 基于 Transformer 的情感检测方法

    本研究探讨了采用不同类型的最先进的转换器模型对文本分类的性能，发现其中 RoBERTa 模型在测试数据集上表现最佳，可用于文本中灾难的检测。此外，我们发现预处理技术，词汇表中单词的性质，不平衡标签和模型参数对学习算法的性能产生影响。

    Mar, 2023

  • 社交媒体辅助危机管理中有监督分类和无监督主题建模之间的桥梁

    采用 BERT 嵌入并进行微调可以适应新危机，发现新主题，并从受监督训练中保留相关类别，利用双向自注意力提取主题关键词。其在人工和自动评估中胜过传统主题模型。

    Mar, 2021

  • 基于 Transformers 的危机相关社交媒体跨语言查询式摘要生成算法

    本文提出了一种跨语言方法来检索和总结社交媒体帖子中与危机相关的信息，该方法基于多语种变形金刚嵌入，可以创建准确，有结构的摘要，与现有的最先进方法相比，被认为更加专注，有结构并且相关性更强。

    Apr, 2022

  • 社会科学的 Transformer 编码器

    本文介绍了 Transformer Encoder for Social Science（TESS），这是一种紧凑预训练的深度神经网络，专门设计用于解决社会科学研究中的文本处理任务。经过两个验证测试，我们证明了在训练样本数量有限（＜1,000 个训练样本）时，TESS 的表现优于 BERT 和 RoBERTa 平均 16.7％。结果显示了 TESS 在社会科学文本处理任务上优于 BERT 和 RoBERTa 的优越性。最后，我们讨论了我们的模型的局限性并提出了未来研究的建议。

    Aug, 2022

  • 多语言通用句子编码器用于语义检索

    本文介绍了两种基于 Transformer 和 CNN 模型架构的预训练多语言句子编码模型，并使用基于翻译的桥接任务学习绑定表示将 16 种语言的文本嵌入到单一的语义空间中，以提高检索效率，与最先进的语义检索、翻译检索和检索问题回答模型相竞争，并在某些情况下超越了英文单语句子嵌入模型的表现水平。

    Jul, 2019

  • 基于 Transformer 的多任务学习用于灾难推文分类

    本研究采用基于 Transformer 的多任务学习方法，对社交媒体上发布的求助信息进行分类和优先级评估，在 TREC INCIDENT STREAMS 赛道上获得了与其他参赛队伍相当的成绩，其中采用集成方法能够进一步提高准确率，本研究将其代码公开，为未来相关研究提供了基准。

    Oct, 2021

  • 基于领域特定 Transformer 模型和文本过采样的 Covid-19 疫苗社交媒体帖子情感分析适应性

    本研究使用预训练的 transformer 模型对 Covid-19 疫苗相关的推文进行 fine-tune，结合 LMOTE 方法进行文本生成，来识别社交媒体帖子中与疫苗相关的正确情感。研究结果说明了文本生成对于预训练 transformer 模型 fine-tune 的适用性以及针对分类任务的领域特定 transformer 模型的效用。

    Sep, 2022

  • 预训练的 Transformer 模型能否用于检测复杂敏感句子？—— 以孟山都公司为例

    探讨使用预训练的 transformer 模型来检测包含大量敏感信息或已知敏感内容的句子，通过对 Monsanto 测试数据集的实验发现，使用 BERT 模型可以更好地检测敏感信息，从而预防应急信息泄漏。

    Mar, 2022