Apr, 2023

基于 Transformer 的文章时段预测模型

PDF
TL;DR本文旨在通过使用文本文档预测其发布期，使用了自行创建的全面标记的数据集，并实现了一个简单的朴素贝叶斯基线模型和一个经过微调的预训练 BERT 模型，而结果则超出了我们的预期，在准确预测新闻文章发布年代方面表现出色，击败了此前在此相对未开发任务中尝试过的少数模型。
publication period predictiontext documentlabeled datasetnaive bayes modelbert model
发现论文，激发创造
  • Text2Gender: 分析博客作者年龄和性别的深度学习架构

    本文通过深度学习技术在 NLP 领域中实现对个体写作文本进行性别和年龄预测，主要采用了基于 BERT 的监督分类方法，并基于一个包含 681284 行数据的数据集进行研究和比较，结果表明，该方法能够更有效、精确地对文本数据进行分类，达到了 84.2% 的年龄组预测的拟合精度和 86.32% 的性别预测拟合精度，是一项具有广泛适用性的研究。

    May, 2023

  • TimeBERT：用时间信息扩展预训练的语言表示

    该研究探究了在预训练中引入时间信息以提高 NLP 和 IR 任务性能的方法，使用长跨度的新闻文章作为训练语料库，提出了 TimeBERT，并且 TimeBERT 在时间相关任务上表现优异，超过了 BERT 和其他预训练模型。

    Apr, 2022

  • 构建未来：评估文本分类器的时间持久性

    本文针对文本分类模型随时间推移性能下降的问题，从实用角度出发，评估了不同语言模型和分类算法的长期稳定性以及数据集特征对时间性稳定性的影响，并在三个跨度为 6 至 19 年的数据集上进行了实际分类实验。

    May, 2022

  • 通过结合自然语言处理和机器学习在金融新闻中检测篇章层面的时间性

    通过自然语言处理和机器学习技术，我们提出一种能够在语篇层面检测金融相关新闻时态性的新系统，利用了句法和语义依赖等复杂特征，从而提取主要陈述的主导时态。实验结果表明，与一种基于规则的替代方法相比，该系统具有较高的检测精确度，最终有助于发掘金融决策的预测性知识。

    Mar, 2024

  • 朝有效时间感知的语言表示：探索语言模型中增强的时间理解

    本研究探讨了在自然语言处理领域中理解文本的时间背景的方法，并介绍了一种新型语言模型 BiTimeBERT 2.0，该模型通过预训练在一个时间新闻文章集合上，利用三种创新的预训练目标以有效地获得时间感知的语言表示，从而在与时间相关的任务中实现改进的性能。实验结果显示，BiTimeBERT 2.0 在多种依赖时间的下游自然语言处理任务和应用中显著优于 BERT 和其他现有的预训练模型。

    Jun, 2024

  • 通过时间感知的预训练提高事件时长预测

    本文提出两种利用外部世界知识实现长度预测的有效模型（时间感知预训练），它们分别预测持续时间值落在的区间 / 单位（R-pred）和准确的持续时间值（E-pred）。其中，最好的模型 —E-pred，实现了优于之前工作的显著性能，并且比 R-pred 更精确地捕捉到持续时间信息。我们还证明了我们的模型可以在无监督学习中进行持续时间预测，并且在超过基线性能上更具优越性。

    Nov, 2020

  • 基于 Transformer 模型的新闻标题生成技术进展

    本文通过对 mBART 和 BertSumAbs 两种基于预训练 Transformer 模型的微调，在俄语新闻 RIA 和 Lenta 数据集上获得了新的最优结果，其中 BertSumAbs 分别将 ROUGE 提高了 2.9 和 2.0 个百分点。

    Jul, 2020

  • 重要信息检索以分类偏好贸易协定的非结构化数据内容

    通过嵌入技术减少冗余信息并使用 BERT 进行文本分类，有效提高了长文本的分类性能，同时大大降低了计算复杂度。这一研究为自然语言处理领域的研究人员和工程师提供了有价值的参考。

    Jan, 2024

  • 使用 Transformer 高效分类长文档

    本文提供了一个广泛的长文本分类的基准测试方法，包括二分类、多分类、多标签分类任务，研究发现更复杂的模型并不总是优于简单的基准模型，并且在不同数据集上表现不稳定，因此需要未来研究考虑更全面的基准模型和数据集以开发出更为稳健的模型。

    Mar, 2022

  • 学习历史，演化未来：预测时序趋势用于假新闻检测

    本研究提出了一种名为 “FTT” 的有效框架，可以预测新闻数据的时间分布模式并指导检测器快速适应未来的分布。在真实世界的时序数据集上的实验证明了我们所提出的框架的优越性。

    Jun, 2023