自我监督对比预训练多元点过程

Feb, 2024

Self-Supervised Contrastive Pre-Training for Multivariate Point Processes

Xiao Shou, Dharmashankar Subramanian, Debarun Bhattacharjya, Tian Gao, Kristin P. Bennet

TL;DR使用 Transformer 编码器的自监督学习方法来处理多元事件流数据，在预训练阶段引入了新的策略，通过随机遮盖事件时刻和插入不存在事件的时刻来扩展遮盖的效果，通过对比真实事件和模拟的不存在事件来提高下游任务的性能，实验证明相较于现有模型，该方法在下一个事件预测任务上能够提升高达 20% 的性能。

Abstract

self-supervision is one of the hallmarks of representation learning in the increasingly popular suite of foundation models including large language models such as BERT and GPT-3, but it has not been pursued in the context of →

self-supervision multivariate event streams self-supervised learning multivariate point processes transformer encoder

发现论文，激发创造

数据高效的事件相机预训练通过解耦蒙版建模

我们提出了一种新的数据高效的基于体素的自监督学习方法，克服了以往方法的局限性，该方法通过预训练克服了通过将事件序列转换为 2D 图像以利用预训练图像模型，或直接使用成对图像数据进行知识蒸馏以增强事件流学习的方法所带来的对时间信息的牺牲。我们的自监督学习方法不依赖于成对的 RGB 图像，且能够在多个尺度上同时探索空间和时间线索，展现出卓越的泛化性能，在各种任务中显著改善参数更少、计算成本更低。

Mar, 2024

事件序列数据的预训练算法

本文提出了一种适用于事件序列数据的自监督预训练框架，通过引入专门针对事件序列的对齐验证任务，建立在掩蔽重构和对比学习的良好实践基础上。我们的预训练任务可以解锁具有普适性的基础表示，适用于包括时态点过程模型的下一事件预测、事件序列分类和缺失事件插值等不同的下游任务。对流行的公共基准进行的实验证明了所提方法在不同任务和数据领域中的潜力。

Feb, 2024

可解释的自监督变压器深入探究点云

本文研究了 transformers 在点云领域中通过自监督学习所获得的特性，探讨了其预训练方案的有效性，分析了数据数量对网络特征的影响，提出了一种解冻策略，并在分类任务中取得了最优结果。

Jun, 2023

自监督学习中的对比神经过程

本文提出了一种新的自监督学习框架，将对比学习与神经过程相结合，用于时间序列预测，实现数据的增强和避免手动设计数据增广，利用我们的方法训练的 ResNet 和线性分类器在工业、医疗和音频数据集上表现良好，精度提高 10％以上。此外，我们证明了我们的自监督表示在潜空间中更有效，改善了多个聚类指标，同时微调 10％的标签可达到与全监督学习相竞争的结果。

Oct, 2021

TEE4EHR：电子健康记录中更好的表示学习的 Transformer 事件编码器

TEE4EHR 是一个具有点过程损失的 Transformer 事件编码器模型，用于分析电子健康记录中实验室检验模式，通过在各种基准的事件序列数据集上验证其实用性，并在两个真实的电子健康记录数据库上进行实验证明了其能够改善电子健康记录中的表示学习并在临床预测任务中提供帮助。

Feb, 2024

多视图自监督方法在音乐标记中的实验比较

在音乐领域应用自监督学习，通过研究和比较新的自监督方法，证明对比学习相对于其他自监督预训练方法在有限数据下游任务中始终能够取得更好的性能。

Apr, 2024

事件序列的自我监督学习：生成建模和对比学习的比较研究与混合方法

该研究探讨了自监督学习技术以获得事件序列的表示，进行了生成方法和对比方法的综合研究，并介绍了一种将生成和对比嵌入对齐的新方法，证明其在各种任务上至少达到现有方法的水平，并且在数据集上一直优于有监督方法。

Jan, 2024

RePre：利用重构预训练提高自监督视觉 Transformer 的性能

本文提出了一种基于重构预训练技术 (RePre) 的自监督视觉变压器模型，使用本地特征学习来替代对图像的全局理解，其中重构预训练通过向现有对比性目标添加像素重构分支，使用变压器编码器的多层次特征进行处理，并提供了从低到高语义信息的丰富监督信息；在各种对比学习框架和不同的视觉变换器架构上，该方法带来的转移性能超过了受监督的预训练和最先进的自监督方法。

Jan, 2022

预训练语音编码器的自监督重连：在语音处理中以更少标签更快微调

本文针对预训练语音编码器中的表示空间进行了研究，并通过对比自监督学习构建正对，以实现对表示空间的改进，进而在低资源环境下提高了语音处理任务的收敛速度和表现。

Oct, 2022

定位预测作为一种有效的预训练策略

本文提出了一种新颖的、简单的、基于位置预测的 Transformer 自监督预训练策略，可以提高 NLP、语音和视觉领域的性能，并使不使用位置嵌入的 Transformers 超越使用完整位置信息的 Transformers。

Jul, 2022