Sep, 2023

保持时序：为情感分析模型增加时间背景

PDF
TL;DR该研究论文采用先进的方法解决了 LongEval CLEF 2023 Lab 任务 2：LongEval-Classification，提出了一种将时间戳包含在文本中的日期前缀文本输入预训练语言模型的框架，展示了日期前缀样本更好地加强了模型对于文本的时间上下文关系的性能，并通过对无标签数据进行自标记训练学生模型的方法进一步提高了性能。研究还使用了一种创新的数据增强策略，利用样本的日期前缀格式来增强自标记过程。该框架在 LongEval-Classification 评估集上获得了 0.6923 的总体得分，取得了第二名的排名，并且在短评估集中表现出了最好的相对性能下降 (RPD) 为 - 0.0656。
longeval clef 2023 labsentiment analysislanguage modeltemporal contextself-labeling
发现论文，激发创造
  • 构建未来：评估文本分类器的时间持久性

    本文针对文本分类模型随时间推移性能下降的问题，从实用角度出发，评估了不同语言模型和分类算法的长期稳定性以及数据集特征对时间性稳定性的影响，并在三个跨度为 6 至 19 年的数据集上进行了实际分类实验。

    May, 2022

  • 时态有效性变化预测

    使用基于转换器的语言模型，我们提出了一项基于时态有效性的自然语言处理任务，评估机器学习模型检测引起时态有效性变化的上下文陈述的能力，并提出了辅助任务：预测时态有效性持续时间，以提高最先进模型的性能。

    Jan, 2024

  • 朝有效时间感知的语言表示：探索语言模型中增强的时间理解

    本研究探讨了在自然语言处理领域中理解文本的时间背景的方法，并介绍了一种新型语言模型 BiTimeBERT 2.0，该模型通过预训练在一个时间新闻文章集合上，利用三种创新的预训练目标以有效地获得时间感知的语言表示，从而在与时间相关的任务中实现改进的性能。实验结果显示，BiTimeBERT 2.0 在多种依赖时间的下游自然语言处理任务和应用中显著优于 BERT 和其他现有的预训练模型。

    Jun, 2024

  • TimeBERT：用时间信息扩展预训练的语言表示

    该研究探究了在预训练中引入时间信息以提高 NLP 和 IR 任务性能的方法，使用长跨度的新闻文章作为训练语料库，提出了 TimeBERT，并且 TimeBERT 在时间相关任务上表现优异，超过了 BERT 和其他预训练模型。

    Apr, 2022

  • 面向时间语言模型的时间掩码技术

    本文介绍了一种基于时间的上下文语言模型 TempoBERT，通过添加时间信息和进行特定的时间掩码来适应语言的动态性，并在不同的数据集上进行了实验，证明利用时间掩码可以在语义变化检测和句子时间预测任务中得到好的效果。

    Oct, 2021

  • 使用大型语言模型分析时间复杂事件：面向时间和长上下文理解的评测基准

    使用大型语言模型从时态复杂事件中提取和分析关键点和时间戳，建立了评估时态动态和理解大量文本的基准。实验证明，采用合适的信息检索和长上下文窗口的模型在处理时态复杂事件的长篇新闻文章时表现出可比较的性能。

    Jun, 2024

  • 通过结合自然语言处理和机器学习在金融新闻中检测篇章层面的时间性

    通过自然语言处理和机器学习技术，我们提出一种能够在语篇层面检测金融相关新闻时态性的新系统，利用了句法和语义依赖等复杂特征，从而提取主要陈述的主导时态。实验结果表明，与一种基于规则的替代方法相比，该系统具有较高的检测精确度，最终有助于发掘金融决策的预测性知识。

    Mar, 2024

  • 基于 LSTM 的情感分类模型建模丰富语境

    该研究利用层次化 LSTM 来处理社交媒体数据中如微博和推文等的情感分析，通过建模各种上下文，特别是长期上下文，以提高情感分类的准确性。

    May, 2016

  • L-Eval: 长上下文语言模型的标准化评估实施

    我们提出了评估长上下文语言模型的标准化评估方法，开发了包含 411 个长文档和超过 2,000 个查询 - 回复对的 L-Eval，经过作者手工注释和检查。结果表明，开源模型在开放式任务和封闭式任务上都表现出令人印象深刻的性能，其中 LLaMA2 在 4k 上下文长度的开放式任务中获得最佳结果，而 ChatGLM2 在 8k 输入标记的封闭式任务中取得最佳结果。

    Jul, 2023

  • 通过时间感知的预训练提高事件时长预测

    本文提出两种利用外部世界知识实现长度预测的有效模型（时间感知预训练），它们分别预测持续时间值落在的区间 / 单位（R-pred）和准确的持续时间值（E-pred）。其中，最好的模型 —E-pred，实现了优于之前工作的显著性能，并且比 R-pred 更精确地捕捉到持续时间信息。我们还证明了我们的模型可以在无监督学习中进行持续时间预测，并且在超过基线性能上更具优越性。

    Nov, 2020