SMURF-THP：基于得分匹配的变压器霍克进程不确定性量化

Oct, 2023

SMURF-THP：基于得分匹配的变压器霍克进程不确定性量化

SMURF-THP: Score Matching-based UnceRtainty quantiFication for Transformer Hawkes Process

Zichong Li, Yanbo Xu, Simiao Zuo, Haoming Jiang, Chao Zhang...

TL;DR我们提出了 SMURF-THP，一种基于得分的学习方法，用于学习 Transformer Hawkes 过程并量化预测不确定性。通过学习到的得分函数，我们可以从预测分布中采样事件的到达时间，从而计算生成样本的置信区间，实现了对不确定性的量化。在事件类型预测和到达时间不确定性量化的实验中，SMURF-THP 表现优于现有的基于似然的方法，同时展示了可比较的预测准确性。

Abstract

transformer hawkes process models have shown to be successful in modeling event sequence data. However, most of the existing training methods rely on maximizing the likelihood of event sequences, which involves c

transformer hawkes process training methods uncertainty quantification smurf-thp confidence intervals

发现论文，激发创造

Transformer 霍克斯过程

提出了一种基于 Transformer 和 Hawkes 过程的模型（THP），能够更好地捕捉事件序列数据中的短期和长期时间依赖关系，并能够通过集成结构性知识来改善预测表现。

Feb, 2020

基于得分匹配的神经标记时空点过程的伪似然估计和不确定性量化

通过 Score MAtching-based pSeudolikeliHood 估计器来学习具有不确定性量化能力的标记 Spatio-temporal point processes (STPPs)，并在事件预测和不确定性量化方面展示其卓越性能。

Oct, 2023

RoTHP：基于旋转位置嵌入的变压器霍克斯过程

本文中，我们提出了一种基于旋转位置嵌入的 THP (RoTHP) 架构，通过相对时间嵌入与 Hawkes 过程的耦合，理论上展示了 RoTHP 的平移不变性和序列预测灵活性，同时在时间戳平移和序列预测任务中进行的实证研究表明 RoTHP 在序列数据场景中具有更好的泛化性。

May, 2024

足球比赛事件分析的基于 Transformer 的神经标记时空点过程模型

本篇研究提出了基于神经时间点过程 (NTPP) 框架的基于 Transformer 的标记空间时间点过程 (NMSTPP) 模型，并提出了综合利用球权的度量方法（HPUS），其中，该模型在足球事件数据的预测表现优于基线模型，而 HPUS 得分可以更全面地评估足球比赛中球权的利用率。

Feb, 2023

领域漂移对在线手写识别的时间序列分类的不确定性感知评估

本文主要关注基于贝叶斯推理的在线手写识别模型的不确定性量化，特别是针对时空数据的不确定性量化方法。通过采用 SWAG 和 Deep Ensembles 两种方法，对数据和模型的不确定性进行评估，以更好地了解模型，并在右手和左手写手（一个低比例的群体）组合时检测到超出分布的数据和域漂移等方面取得一定效果。

Jun, 2022

变压器神经过程：通过序列建模实现不确定性感知的元学习

本文提出了一种基于 Transformer 架构的新型神经过程模型（TNPs），用于解决元学习中的不确定性问题，具有先进的表现，适用于元回归、图像完成、上下文多臂赌博机和贝叶斯优化等各种基准问题。

Jul, 2022

使用分层随机注意力进行 Transformer 不确定性估计

本文提出了一种新的方法，使得 transformer 模型具有不确定性估计能力，同时保持原始预测性能，并且理论和实验结果表明，该方法在包括文本分类在内的任务上具有最佳的预测性能和不确定性平衡

Dec, 2021

超越 Hawkes：空间 - 时间点过程上的神经多事件预测

提出了一种用于同时多事件预测的新神经结构，利用 transformers、normalizing flows 和 probabilistic layers，以实现 spatio-temporal Hawkes 过程的批量复杂历史相关的未来离散事件分布预测，取得了包括南加州地震，Citibike，Covid-19 和 Hawkes 合成风车数据集在内的各种基准数据集的最新性能。

Nov, 2022

HoTPP 基准：我们在长期事件预测方面表现如何？

通过引入新的 HoTPP 基准和度量方法，这篇论文挑战传统方法，评估模型在时间范围内预测事件序列的能力，并且证明下一个事件预测的高准确性不一定能转化为更好的时间范围预测，为进一步改进这一领域的方法铺平道路。

Jun, 2024

神经标记时间点过程的非分布式一致性联合预测区域

通过符合预测的框架，本文开发了一种更可靠的方法来量化神经 TPP 模型中的不确定性，其中主要目标是生成到达时间和标记的无分布联合预测区域，并提供了有限样本的边际覆盖保证。

Jan, 2024