May, 2024

RoTHP:基于旋转位置嵌入的变压器霍克斯过程

TL;DR本文中,我们提出了一种基于旋转位置嵌入的 THP (RoTHP) 架构,通过相对时间嵌入与 Hawkes 过程的耦合,理论上展示了 RoTHP 的平移不变性和序列预测灵活性,同时在时间戳平移和序列预测任务中进行的实证研究表明 RoTHP 在序列数据场景中具有更好的泛化性。