神经事件序列预测的时间依赖表示
使用自我关注的时间序列建模在自然语言处理中具有前沿技术,但是并不能捕捉到事件之间的时间跨度,我们通过使用高维函数特征映射来构建一个时间不变的核函数,提出了几种学习功能时间表示和与事件表示交互的模型,并在真实世界数据集上进行了实验,结果表明这些方法可以更好地捕捉时间事件交互。
Nov, 2019
该论文提出了两种新的模型,WGP-LN 和 FD-Dir,用于建模基于异步事件序列的预测模型,在预测过程中考虑了时间的影响和不确定性,结合 RNNs 和概率分布,取得了比其他方法更好的预测性能。
Nov, 2019
本文提出两种利用外部世界知识实现长度预测的有效模型(时间感知预训练),它们分别预测持续时间值落在的区间 / 单位(R-pred)和准确的持续时间值(E-pred)。其中,最好的模型 —E-pred,实现了优于之前工作的显著性能,并且比 R-pred 更精确地捕捉到持续时间信息。我们还证明了我们的模型可以在无监督学习中进行持续时间预测,并且在超过基线性能上更具优越性。
Nov, 2020
本文提出了一种用于在句内事件之间进行时间关系分类的序列模型。我们的方法首先提取一个上下文词序列,该词序列与两个事件提及之间的依赖路径很好地对齐,并使用生成的词序列对应的词性标记序列和依赖关系序列作为输入,提供给双向循环神经网络 (LSTM) 模型。神经网络学习组成句法和语义上下文表征,以预测它们之间的时间关系。该方法在 TimeBank 语料库上的评估表明,顺序建模能够准确地识别事件之间的时间关系,并且胜过了以前基于特征的模型。
Jul, 2017
本文探讨事件分割的机制,介绍了一种基于自监督模型和神经网络的事件分割模型,并利用心理实验验证了该模型的有效性,结果显示该模型能够产生类似于人类的事件边界和事件表示,研究对事件认知和大脑事件分割的理解做出了贡献。
Oct, 2022
本文提出了一种使用双向多层递归神经网络进行序列到序列学习的方法,以预测文本中前一句的事件描述。我们的方法在来自 WikiHow 和 DeScript 两个数据集中的 BLEU 得分方面显着优于先前的研究。由于 BLEU 得分不易解释为事件预测的度量标准,因此我们结合第二个评估,利用事件的黄金释义集的丰富语言注释来补充我们的研究。
Sep, 2017
使用基于时空点过程的方法,通过加入上下文事件嵌入、时间信息和领域特征来建立模型,解决了连续时间域中预测事件集强度的问题,并通过大量实验表明,该方法在预测指标和计算效率上优于现有方法。
Sep, 2023
本文研究了用于事件序列处理的循环神经网络架构,描述了四种归纳偏差的形式,介绍了一种连续时间 GRU,并将这些偏差通过内在时间动态和事件时间戳扩展到 GRU 中,最终指出集成连续时间动态的神经网络架构具有潜在优势。
Oct, 2017
本文提出了一种用于处理事件序列的概率模型 - 总结马尔可夫模型,通过选择合适的汇总功能函数,该模型的事件类型的发生概率仅依赖于其历史发生的事件类型的汇总,针对文本类数据进行了模型的构建和优化,通过实验检验模型的性能和发现能力。
May, 2022