通过插值进行推理：对比表示可证明地实现计划和推理

Mar, 2024

通过插值进行推理：对比表示可证明地实现计划和推理

Inference via Interpolation: Contrastive Representations Provably Enable Planning and Inference

Benjamin Eysenbach, Vivek Myers, Ruslan Salakhutdinov, Sergey Levine

TL;DR给定时间序列数据，本论文展示了如何利用对比学习获得紧凑的、闭合形式的解来回答 “未来会发生什么？” 和 “我们是如何到达这一点的？” 这些概率推断问题在高维观测时很具有挑战性。我们通过对时间序列数据应用一种变体的对比学习方法来实现这些问题的解答。我们的理论验证了这种对比学习所学习到的表示遵循高斯 - 马尔科夫链。

Abstract

Given time series data, how can we answer questions like "what will happen in the future?" and "how did we get here?" These sorts of probabilistic inference questions are challenging when observations are high-di

time series data probabilistic inference learned representations contrastive learning gaussian distributions

发现论文，激发创造

对比差异预测编码

本文介绍了一种自适应时间差异版对比性预测编码，通过拼接不同时间序列数据的片段来减少学习未来事件预测所需的数据量，并将该方法应用于推导目标条件强化学习的离线策略算法。实验表明，与先前的强化学习方法相比，我们的方法在成功率方面取得了 2 倍的中值提高，能够更好地应对随机环境。在表格设置中，我们展示了我们的方法比后续表示方法更节约样本，比标准（蒙特卡洛）版本的对比性预测编码更节约样本数量约 20 倍和 1500 倍。

Oct, 2023

视频对比学习的概率表示

本文提出了一种概率视频对比学习的自我监督表示学习方法，该方法基于混合高斯将视频剪辑呈现为正常分布并将它们组合成一个高斯分布混合物来建模整个视频分布，通过此方法我们可以避免对剪辑进行转换以生成增强剪辑视图的不必要策略，实验证明该方法在 UCF101 和 HMDB51 等最流行的基准测试上是最先进的视频表示学习方法。

Apr, 2022

多任务自监督时间序列表示学习

本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。

Mar, 2023

随机过程的对比表示

本论文提出了一种统一的学习随机过程对比表示的方法，称为 CReSP，从而弥补了精确重构观察数据的方法在高维度或噪声分布复杂时不可靠的缺陷，并在周期函数、三维物体和动态过程的表示学习等方面取得了显著效果，并且该方法对高维度噪声观测的容忍度比传统方法更高，并且所学表示可以用于各种下游任务。

Jun, 2021

对比预测编码的表示学习

本研究提出了一种普适的无监督学习方法 Contrastive Predictive Coding，通过使用强大的自回归模型在潜在空间中预测未来来提取高维数据的有用表示，以此学习有用的表示并在语音，图像，文本和三维环境中的强化学习中实现了强大的表现。

Jul, 2018

将对比学习与动态模型集成，用于从图像中进行强化学习

本文提出了一种自监督表征学习方法，它将对比学习与动态模型相结合，以协同地实现三个目标，即通过最大化信息 NCE 界来诱导线性预测嵌入，通过显式学习非线性转换模型进一步提高学习嵌入的马尔可夫性以及最大化下一嵌入的互信息，其基于当前动作和当前状态的两个独立增强的嵌入预测，实验表明，与基于对比学习或重建的现有方法相比，我们的方法在样本效率和泛化性能上都取得了更好的结果。

Mar, 2022

通过对抗性对比最优输运进行表示学习

本文提出了一种通过优化转移距离来学习捕捉数据时间空间关系的紧凑（低维）表示，与此同时通过 Wasserstein GANs 和分类器连接的新框架产生对比学习的负分布，结果在人类动作识别任务中表现良好。

Jul, 2020

混合对比学习：时序的自监督表示学习

提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

Mar, 2022

对比估计方法揭示线性模型中主题后验信息

本文探讨了对比学习在文档分类中的应用。与传统方法相比，利用对比学习方法能更好的学习到文档的表征，并通过实验证明线性分类器利用这些表示能提高文档分类的准确性。

Mar, 2020

对比傅里叶特征的证明表示学习与模仿

本文研究使用离线数据集，学习低维状态表示以加速模仿学习的采样效率，使用对比学习方法实现表示学习目标，并在 Atari 游戏中进行了实验。

May, 2021