Apr, 2022

基于 Transformers 的危机相关社交媒体跨语言查询式摘要生成算法

PDF
TL;DR本文提出了一种跨语言方法来检索和总结社交媒体帖子中与危机相关的信息，该方法基于多语种变形金刚嵌入，可以创建准确，有结构的摘要，与现有的最先进方法相比，被认为更加专注，有结构并且相关性更强。
social mediaemergency managementcross-lingual methodmultilingual transformers embeddingsabstractive summaries
发现论文，激发创造
  • 基于指令引导的多查询灾害摘要

    自动总结大规模突发事件在灾难管理中起着关键作用。CrisisFACTS 的第二版旨在基于多流事实查证，重点关注 Twitter、Reddit、Facebook 和 Webnews 等网络信息源的灾难总结。本文描述了我们解决这个具有挑战性任务的方法。我们依照以前的工作，并提出使用检索、重新排序和简单指令遵循总结相结合的方法。两阶段检索管道依赖于 BM25 和 MonoT5，而总结模块基于开源大型语言模型 LLaMA-13b。对于总结，我们采用了一个问题回答 (QA) 驱动的提示方法，并发现证据对于提取与查询相关的事实是有用的。自动评估和人工评估结果表明具有很强的效果，但也凸显了开源和专有系统之间的差距。

    Feb, 2024

  • 危机相关社交媒体文本的语义丰富跨语言句子嵌入

    通过使用多语言句子编码器，我们提出了一种能够为 50 多种语言中的相关社交媒体文本进行嵌入的模型，以使具有相似含义的文本在相同的向量空间中靠近，无论语言多样性如何。研究结果对句子编码和匹配任务表现出良好的性能，表明这些模型可以作为嵌入多语言危机相关社交媒体文本时的强大基准模型。

    Mar, 2024

  • CrisisLTLSum: 本地危机事件时间线提取和总结的基准

    本文提出了目前为止最大的本地危机事件时间轴数据集 CrisisLTLSum，它包含了 1000 个危机事件时间轴数据，可用于基准测试时间轴拓展和抽象摘要技术的任务。该数据集是通过采用半自动化集群 - 精化方法从公共推特数据流中收集数据构建的，其初始实验表明，对于这两个任务而言，强基线与人类表现之间存在着显著差距，并且我们还公开了数据集、代码和模型。

    Oct, 2022

  • 基于课程指导的抽象摘要

    本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷，使得模型可以更好的理解要点，同时引入课程学习的方法提高了训练速度和质量，并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性，同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。

    Feb, 2023

  • X-SCITLDR：学术文献的跨语言极端摘要

    本研究填补了前人研究的空白，提出了一个多语种的学术领域摘要数据集，基于此我们能够训练和评估处理英语论文并生成德语、意大利语、汉语和日语摘要的模型，同时分析了在零样本和少样本情况下训练的性能。

    May, 2022

  • 面向消费者健康问题摘要的问题感知变压器模型

    本文研究针对真实世界的消费者健康问题的抽象总结任务，开发了一个抽象问题总结模型，利用医疗实体的语义识别，借此提高了问题聚焦的涵盖范围和生成信息摘要的能力。同时，我们还将问题类型信息融入到解码器的输入中，实现了问题类型驱动的摘要生成，并在 MeQSum 基准语料库上进行了评估，该框架超过了最先进方法 10.2 ROUGE-L 分，并进行手动评估以评估所生成的摘要的正确性。

    Jun, 2021

  • 危机转型：面向危机相关社交媒体文本的预训练语言模型和句子编码器

    社交媒体平台在危机传播中起着重要作用，但由于其非正式性质，分析危机相关的社交媒体文本具有挑战性。为了解决危机信息学文献中的这些差距，本研究引入了 CrisisTransformers，这是一个预训练语言模型和句子编码器的集合，它们经过广泛的语料库训练，包含了超过 150 亿词元的推文，涉及 30 多个危机事件，包括疾病爆发、自然灾害、冲突和其他重大事件。评估现有模型和 CrisisTransformers 在 18 个危机特定的公共数据集上表现，我们的预训练模型在所有数据集的分类任务中都优于强基线，而我们表现最佳的句子编码器在句子编码任务中将现有技术水平提高了 17.43%。此外，我们研究了模型初始化对收敛性的影响，并评估了领域专用模型在生成语义有意义的句子嵌入中的重要性。所有模型已公开发布，以期成为分析危机相关社交媒体文本任务的强大基准。

    Sep, 2023

  • 基于课程的思维健康在线帖子抽象摘要

    本研究旨在通过采用课程学习方法，结合基于 Transformers 模型的自动生成摘要技术，从 Reddit 社交媒体上的心理健康相关帖子中提取性问题，从而提高医生的阅读效率和准确性，为人们提供更及时有效的心理卫生服务。相较于目前已有的模型，本方法在 Rouge 和 Bertscore 评估指标上分别有显著的相对改进。

    Feb, 2023

  • ATSumm: 辅助信息增强的基于稀疏训练数据的抽象灾难推文摘要方法

    本研究提出了一种利用辅助信息的抽象推文摘要工具，通过使用独特的关键短语注意机制，引入了 Auxiliary Pointer Generator Network（AuxPGN）模型。评估结果表明，ATSumm 相对于现有方法在 ROUGE-N F1-score 指标上实现了 4-80% 的改进。

    May, 2024

  • 无监督情感触发器摘要提取

    本文在研究大规模危机期间情感触发因素的基础上，提出了一种利用无监督学习模型进行情感检测和摘要的新方法，并在 COVID-19 危机下进行了验证

    Jun, 2023