EMNLPNov, 2020

通过时间感知的预训练提高事件时长预测

PDF
TL;DR本文提出两种利用外部世界知识实现长度预测的有效模型（时间感知预训练），它们分别预测持续时间值落在的区间 / 单位（R-pred）和准确的持续时间值（E-pred）。其中，最好的模型 —E-pred，实现了优于之前工作的显著性能，并且比 R-pred 更精确地捕捉到持续时间信息。我们还证明了我们的模型可以在无监督学习中进行持续时间预测，并且在超过基线性能上更具优越性。
发现论文，激发创造
  • 神经事件序列预测的时间依赖表示

    本文提出了一组用于时间序列预测的方法，包括两种基于时间的事件表示方法和两种使用下一个事件持续时间作为正则化的方法，并通过基于 RNN 的实验评估，证明这些方法可以提高准确性。

    Jul, 2017

  • 通过丢弃过时事实来缓解时间不对齐问题

    本文提出了事实持续时间预测来缓解时间错位带来的影响，在实验中演示了确定容易变化的事实，可以帮助模型避免重复过时信息，同时在知识密集型任务下建模事实持续时间有助于提高校准性。

    May, 2023

  • 细粒度时间关系提取

    本研究提出了一种新的语义框架来建模时间关系和事件持续时间，构建了迄今为止最大的时间关系数据集，并利用该数据集训练了预测细粒度时间关系和事件持续时间的模型，表现出强大的实验结果，并展示了预测分类关系的迁移学习方法的功效。

    Feb, 2019

  • 使用预训练语言模型的时长感知暂停插入多说话人文本转语音

    本文提出一种基于预训练语言模型的更加高效的暂停插入框架，运用双向变压器编码器表示来注入演讲者嵌入以捕捉不同演讲者的特点，并使用持续时间感知的暂停插入以获得更自然的多人演讲，测试结果表明该模型提高了合成语音的节奏性、暂停插入的精度和召回率。

    Feb, 2023

  • 保持时序：为情感分析模型增加时间背景

    该研究论文采用先进的方法解决了 LongEval CLEF 2023 Lab 任务 2：LongEval-Classification，提出了一种将时间戳包含在文本中的日期前缀文本输入预训练语言模型的框架，展示了日期前缀样本更好地加强了模型对于文本的时间上下文关系的性能，并通过对无标签数据进行自标记训练学生模型的方法进一步提高了性能。研究还使用了一种创新的数据增强策略，利用样本的日期前缀格式来增强自标记过程。该框架在 LongEval-Classification 评估集上获得了 0.6923 的总体得分，取得了第二名的排名，并且在短评估集中表现出了最好的相对性能下降 (RPD) 为 - 0.0656。

    Sep, 2023

  • 利用预训练语言模型预测文本增强时序知识图中的时间间隔

    我们提出了一种名为 TEMT 的新框架，利用预训练语言模型（PLMs）来增强文本的时间性知识图谱完成。TEMT 利用存储在 PLM 参数中的知识，能够产生丰富的事实语义表示，并且对以前未见过的实体进行推广。TEMT 将 KG 中的文本和时间信息分别处理，并将它们融合以得到事实的可信度得分。与以前的方法不同，TEMT 有效捕获不同时间点之间的依赖关系，并能对未见实体进行预测。实验结果表明，TEMT 与现有技术相媲美。

    Sep, 2023

  • 基于 Transformer 的文章时段预测模型

    本文旨在通过使用文本文档预测其发布期，使用了自行创建的全面标记的数据集，并实现了一个简单的朴素贝叶斯基线模型和一个经过微调的预训练 BERT 模型，而结果则超出了我们的预期，在准确预测新闻文章发布年代方面表现出色，击败了此前在此相对未开发任务中尝试过的少数模型。

    Apr, 2023

  • TimeBERT：用时间信息扩展预训练的语言表示

    该研究探究了在预训练中引入时间信息以提高 NLP 和 IR 任务性能的方法，使用长跨度的新闻文章作为训练语料库，提出了 TimeBERT，并且 TimeBERT 在时间相关任务上表现优异，超过了 BERT 和其他预训练模型。

    Apr, 2022

  • 使用语言增强 Transformer 编码器和医学提示进行医疗干预时间估计

    提出了一种语言增强的基于转换器的框架，用于在连续、分类、二进制和自由文本功能之间进行信息集成，以更准确地估计医学干预的持续时间，并在 US 和 Asian 的数据集上证明了其有效性。

    Mar, 2023

  • 领域知识增强的结构化神经网络，用于端到端事件时间关系提取

    本文提出了一种基于概率领域知识构建分布式约束的框架，并且通过 Lagrangian Relaxation 解决约束的推理问题，用于端到端的事件时间关系提取任务，实验结果显示我们的框架能够在新闻和临床领域的两个广泛使用的数据集上显著地提高基线的神经网络模型。

    Sep, 2020