基于检索的时序对比学习的重建

Nov, 2023

Retrieval-Based Reconstruction For Time-series Contrastive Learning

Maxwell A. Xu, Alexander Moreno, Hui Wei, Benjamin M. Marlin, James M. Rehg

TL;DR通过检索 - 重建（REBAR）对比学习，我们提出了一种利用卷积交叉注意力体系结构计算两个不同时间序列之间的 REBAR 误差的新方法，并通过验证实验表明，REBAR 误差是相互类别成员资格的预测器，从而为其用作正 / 负标签赋予了合理性。最后，一旦集成到对比学习框架中，我们的 REBAR 方法可以学习到在各种模态下取得最先进性能的嵌入。

Abstract

The success of self-supervised contrastive learning hinges on identifying positive data pairs that, when pushed together in embedding space, encode useful information for subsequent downstream tasks. However, in

self-supervised contrastive learning positive data pairs time-series rebar contrastive learning convolutional cross-attention architecture

发现论文，激发创造

具有相关感知对比预训练的无监督密集检索

本文提出了一种基于对中间训练模型的关联系统估计和自适应加权的相关性感知对比度学习方法，应用于无监督稠密 Retriever 模型，提高了其检索效果并且表现出很好的 few-shot 学习能力。

Jun, 2023

时间序列分类的排序监督对比学习

提出了一种名为 Rank Supervised Contrastive Learning (RankSCL) 的对比学习框架，通过使用特定过滤规则选择更具信息量的正负样本对，利用排名信息为不同级别的正样本分配不同权重，能够在有限标签样本情况下提取细粒度信息并在不同类别之间产生明确的边界，表现出先进的分类性能。

Jan, 2024

多任务自监督时间序列表示学习

本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。

Mar, 2023

检索增强对比视觉 - 文本模型

本论文提出了 RECO 模型，该模型通过外部记忆检索获取精细化知识，应用于现有视觉文本模型中，并在 Stanford Cars、CUB-2011 和 OVEN benchmark 等多项任务中取得了显著性能提升。

Jun, 2023

TimesURL: 通用时间序列表示学习的自监督对比学习

学习能够适用于各种不同类型下游任务的通用时间序列表示是具有挑战性但有价值的，本研究提出了一种名为 TimesURL 的自监督框架，利用增强方法、负样本构建和损失设计来学习高质量的通用表示，并在 6 个不同的下游任务中达到最先进的性能。

Dec, 2023

无监督句子嵌入的自适应对比学习重建

我们提出了一种自适应重建对比句子嵌入（SARCSE）框架，通过使用自动编码器对句子中的所有单词进行重建，帮助模型在聚合单词时保留更多细粒度的语义。实验结果表明，与强基准 SimCSE 相比，SARCSE 在 7 个 STS 任务中取得了显着改进。

Feb, 2024

预训练句子嵌入的相互强化框架

本研究基于自监督对比学习方法，提出了一种名为 InfoCSE 的新型框架，用于解决手工数据注释不可靠的问题，通过迭代的自我监督和数据标注反馈，实现了句子表示模型和数据注释方法的相互协作，有效提高了自监督学习的效果。实验证明，该方法在三个基准数据集上取得了显著的改善。

Feb, 2022

混合对比学习：时序的自监督表示学习

提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

Mar, 2022

超越语义：学习行为增强的相关性模型与自监督学习

我们提出了一种 Behavior Augmented Relevance Learning 模型，通过利用邻居查询和邻居项来补充目标查询 - 项语义匹配，从而改进了 Alipay Search 的准确性和鲁棒性。实验结果显示我们的提案在低延迟下取得了有希望的性能。

Aug, 2023

通过自我加强误差缓解的噪声对应学习

通过引入一种名为自我加强误差抑制（SREM）的新型噪声对应关系学习框架，通过将样本匹配视为批处理中的分类任务，我们生成给定样本的分类 logits，通过能量不确定性优化样本筛选，并使用交换分类熵估计所选干净样本的模型灵敏度，从而改善交叉模态检索的准确性和稳定性。同时，我们提出了交叉模态偏向性互补学习，以利用在难负例训练中被忽视的负匹配，进一步提高模型的优化稳定性和抑制自我加强错误。在具有挑战性的基准测试中进行的广泛实验证实了 SREM 的有效性和高效性。

Dec, 2023