本研究提出了一种时域监督对比学习的方法,可以使神经网络在处理时间序列信息时具备低延迟和高性能,取得了 CIFAR-10、CIFAR-100 和 DVS-CIFAR10 等数据集的最新性能水平。
May, 2023
本文提出了一种基于数据增强图的对比学习新概念,该概念能够以神经网络表示为对比学习目标提供详细的光谱分解损失,并在理论上证明了具有可验证的精度保证的特征学习方法,同时以实验证明其与一些强大基线方法相当或更好地匹配在基准视觉数据集上。
Jun, 2021
本文通过系统分析不同的自监督对比学习策略及变量间的相互作用,发现使用 Transformer 模型综合优化 Mean Squared Error (MSE) 损失和自监督对比学习 (SSCL) 是进行时间序列预测的最有效的方法,并可优化预测结果的准确性。
Jun, 2023
本文提出了一种基于空间 - 时间同步对比学习(STS-CCL)模型的高效方法,通过图数据的增强和同步对比模块实现了复杂的空间 - 时间表示的捕获,进而在交通预测任务中取得了优越的性能。
Jul, 2023
本文研究了对比学习的等价性和理论基础,并建立了对比学习与谱聚类算法之间的等价性。同时,我们探讨了多模态对象是如何相似地嵌入在一起的,并提出了一种新的核混合损失,相较标准高斯核在几个视觉数据集上有更好的表现。
Mar, 2023
提出了一种新的空间 - 时间对比学习(CL4ST)框架,通过 STG 的扩充范式来编码稳健和可推广的 STG 表示,实验证明 CL4ST 在交通和犯罪预测方面明显优于各种最先进的基准模型。
Oct, 2023
本文提出了一种基于对比学习的新的损失函数 TCL,该函数能够推广到批处理的多个正负样本,同时提供了参数来调整梯度响应,优化了难例的响应,理论和实验都证明了它的效果优于 SupCon
学习能够适用于各种不同类型下游任务的通用时间序列表示是具有挑战性但有价值的,本研究提出了一种名为 TimesURL 的自监督框架,利用增强方法、负样本构建和损失设计来学习高质量的通用表示,并在 6 个不同的下游任务中达到最先进的性能。
Dec, 2023
在本文中,我们提出了一种微软的自动机器学习(AutoML)实践,名为自动对比学习(AutoCL),它可以自动学习对各种时间序列数据集和任务进行对比学习表示。我们首先构建了一个覆盖数据增强、嵌入变换、对比对构建和对比损失的规范化的通用搜索空间,然后引入了一种高效的强化学习算法,用于从验证任务的性能中优化对比学习策略,以在搜索空间中获得更有效的策略。实验结果表明,AutoCL 能够自动找到适合给定数据集和任务的对比学习策略,并且我们还提供了实证分析作为未来对比学习策略设计的指导。
Mar, 2024
本研究提出自我对比学习算法,并将其应用于会话推荐问题中,以优化物品表示空间的均匀度和减少模型复杂度,进而实现比之前的算法更好的预测性能。研究证明,该算法不需要额外的采样和数据增强操作,并在三个基准数据集上得到了统计上显著的性能提升。