该论文在事件建模和理解的背景下，提出了一种新的神经序列建模方法，该方法考虑了离散的、部分被观察到的外部知识序列。通过构建一个顺序神经变分自编码器，在精心定义的编码器中使用Gumbel-Softmax重参数化技术，允许半监督的外部离散知识在训练期间指导但不限制变分潜在参数。实验表明，该方法不仅优于多个基线和叙事脚本归纳的最新技术，而且收敛速度更快。
Oct, 2020
提出了ContrAstive Pre-Training (CAPT)来学习抗干扰的序列表示，这种方法通过无监督的实例训练信号来鼓励原始序列的表示和其被污染版本的表示之间的一致性，从而既缓解了先训练的噪声引起的误差，也提高了模型对输入全局语义的捕获能力。
CLEVE是一种对事件抽取进行对比预训练的框架，可以从大规模无监督数据和自动解析器获得的语义结构中更好地学习事件知识，并在传统的监督学习和无监督的事件抽取中显着提高了性能。
May, 2021
本文提出了一种对视觉语言预训练模型进行对事件及相关参数角色理解的对比学习框架，并结合文本信息提取技术，利用多个提示函数来构造事件结构，设计基于最优传输的事件图形对齐损失来捕获事件参数结构，通过无监督学习进行预训练，并在零样本的情况下取得了优秀的性能。
Jan, 2022
本文提出了一种新颖的、简单的、基于位置预测的Transformer自监督预训练策略，可以提高NLP、语音和视觉领域的性能，并使不使用位置嵌入的Transformers超越使用完整位置信息的Transformers。
Jul, 2022
本文定义了事件检测为序列生成任务，提出了一种统一的预训练和微调框架，以自然地增强事件检测和字幕生成之间的相互关联。实验结果表明，我们的模型优于最先进的方法，并且在额外的大规模视频文本数据上进行预训练可以进一步提升性能。
本文介绍了一种自监督学习框架，用于预训练针对密集预测任务的神经网络，该框架使用事件相机数据进行训练，并在转移学习方面展现出卓越性能。
Nov, 2023
该研究探讨了自监督学习技术以获得事件序列的表示，进行了生成方法和对比方法的综合研究，并介绍了一种将生成和对比嵌入对齐的新方法，证明其在各种任务上至少达到现有方法的水平，并且在数据集上一直优于有监督方法。
Jan, 2024
使用Transformer编码器的自监督学习方法来处理多元事件流数据，在预训练阶段引入了新的策略，通过随机遮盖事件时刻和插入不存在事件的时刻来扩展遮盖的效果，通过对比真实事件和模拟的不存在事件来提高下游任务的性能，实验证明相较于现有模型，该方法在下一个事件预测任务上能够提升高达20%的性能。
Feb, 2024
我们提出了一种新的数据高效的基于体素的自监督学习方法，克服了以往方法的局限性，该方法通过预训练克服了通过将事件序列转换为2D图像以利用预训练图像模型，或直接使用成对图像数据进行知识蒸馏以增强事件流学习的方法所带来的对时间信息的牺牲。我们的自监督学习方法不依赖于成对的RGB图像，且能够在多个尺度上同时探索空间和时间线索，展现出卓越的泛化性能，在各种任务中显著改善参数更少、计算成本更低。
Mar, 2024