Dec, 2023

对比式任务专用句子编码器的信息类型分类

PDF
TL;DR在危机情况中，用户生成的信息内容已成为重要的信息来源，然而，分类模型受到噪声和事件相关偏见的影响，这仍然是一个具有挑战性的任务，需要复杂的任务适应性。为了解决这些挑战，我们提出使用对比任务专用的句子编码器进行下游分类。我们在 CrisisLex、HumAID 和 TrecIS 信息类型分类任务上应用任务专用化，并且在 F1 分数方面显示出性能提升。此外，我们分析了两个德语事件相关性分类数据集的跨语料库和跨语言能力。
user-generated informationcrisis situationsclassification modelstask-adaptationsentence encoders
发现论文，激发创造
  • 利用实体掩蔽语言建模和多任务学习提高危机相关推文分类

    该研究提出了一种基于实体屏蔽语言建模和层次化多标签分类的多任务学习方法，以解决社交媒体危机管理中的事件相关偏差和高度不均衡标签分布问题，并在 TREC-IS 数据集上表现出高达 10% 的 F1 得分绝对性能提升。同时，实体屏蔽可以减少过度拟合和提高跨事件泛化能力。

    Nov, 2022

  • 基于对比学习的句子编码器隐式加权信息词汇

    通过对比损失的简单调优，句子编码器的性能可以得到显著提高。本文理论上和实验上展示出，在对比学习过程中模型获得了怎样的特征，即基于信息论的数量对词汇进行隐式加权。本文还使用多种模型、多个数据集、两种度量模型隐式加权的方法（集成渐变法和 SHAP）以及两个信息论数量（信息增益和自信息量）进行了全面实验。结果提供了对对比调优强调信息丰富词汇的经验证据。

    Oct, 2023

  • 危机转型：面向危机相关社交媒体文本的预训练语言模型和句子编码器

    社交媒体平台在危机传播中起着重要作用，但由于其非正式性质，分析危机相关的社交媒体文本具有挑战性。为了解决危机信息学文献中的这些差距，本研究引入了 CrisisTransformers，这是一个预训练语言模型和句子编码器的集合，它们经过广泛的语料库训练，包含了超过 150 亿词元的推文，涉及 30 多个危机事件，包括疾病爆发、自然灾害、冲突和其他重大事件。评估现有模型和 CrisisTransformers 在 18 个危机特定的公共数据集上表现，我们的预训练模型在所有数据集的分类任务中都优于强基线，而我们表现最佳的句子编码器在句子编码任务中将现有技术水平提高了 17.43%。此外，我们研究了模型初始化对收敛性的影响，并评估了领域专用模型在生成语义有意义的句子嵌入中的重要性。所有模型已公开发布，以期成为分析危机相关社交媒体文本任务的强大基准。

    Sep, 2023

  • 危机相关社交媒体文本的语义丰富跨语言句子嵌入

    通过使用多语言句子编码器，我们提出了一种能够为 50 多种语言中的相关社交媒体文本进行嵌入的模型，以使具有相似含义的文本在相同的向量空间中靠近，无论语言多样性如何。研究结果对句子编码和匹配任务表现出良好的性能，表明这些模型可以作为嵌入多语言危机相关社交媒体文本时的强大基准模型。

    Mar, 2024

  • 利用任务依存性和对比学习进行欧洲人权法院案例结局分类

    该研究报道了一项关于欧洲人权法院案例结果分类的实验，使用层级对比损失用于提升分类性能。

    Feb, 2023

  • 基于 Transformer 的多任务学习用于灾难推文分类

    本研究采用基于 Transformer 的多任务学习方法，对社交媒体上发布的求助信息进行分类和优先级评估，在 TREC INCIDENT STREAMS 赛道上获得了与其他参赛队伍相当的成绩，其中采用集成方法能够进一步提高准确率，本研究将其代码公开，为未来相关研究提供了基准。

    Oct, 2021

  • 将对比学习融入多任务 Transformer 模型以实现有效的领域自适应

    提出一种新颖的领域适应技术，采用 SER 作为主任务、对比学习和信息最大化损失作为辅助任务的多任务框架，借助在大型语言模型上进行微调的 transformer 实现跨语料库情感识别的最新性能。

    Oct, 2023

  • 事件和实体的跨文档指代消解的对比表示学习

    采用对比度表示学习方法的实体和事件共指解析技术，通过仅在推理时进行 n 个转换器计算的对比度学习技术，实现了对 ECB + 语料库关键指标的最先进结果和其他指标的竞争性。

    May, 2022

  • 通过对比学习和语句图网络建模多层上下文进行信息偏倚检测

    本文探讨了如何利用多种不同级别的语境来检测新闻文章中的信息偏见。通过使用对比学习和句子图形以及 GAT 编码三种不同程度的语境，成功地在不同的事件中组成对比三元组和构建句子图形。实验证明，对比学习和句子图形有效地吸收了不同程度的上下文，显著优于当前 SOTA 模型在句子级情感分析方面的表现。

    Jan, 2022

  • IDIAPers @ 2022 因果新闻语料库：一种基于提示的少样本效率因果关系识别方法

    本文描述了我们在 CASE-2022 中参加亚任务 1: 使用正式新闻语料库的事件因果关系识别。我们通过利用一组简单但互补的技术，在少量有注释的示例（即少数派配置）上对语言模型（LM）进行微调，从而解决了因果关系识别（CRI）任务。我们比较了这种方法与在整个数据集上训练的集成技术的表现。我们的表现最佳的提交仅使用了每类 256 个实例的微调，占所有可用数据的 15.7％，而且具有次佳的精度（0.82），第三高的准确度（0.82），F1 分数（0.85）非常接近胜利团队所报道的（0.86）。

    Sep, 2022