Aug, 2016

可处理概率模型的表征学习

HTML
PDF
TL;DR本文旨在研究可计算多项式时间的概率模型（Tractable Probabilistic Models，TPMs）如何通过随机查询评估用于生成嵌入，并提出两种实验设计来评估和比较 TPMs 作为无监督表征学习中特征提取器的实用性，研究者采用可计算多项式时间的 Sum-Product 网络和混合树作为可行模型生成嵌入，对标准图像数据集进行实验，并取得一些实验性结果。
发现论文，激发创造
  • 表示学习：综述与新视角

    本文回顾了无监督特征学习和深度学习领域中的最新进展，讨论了学习良好的数据表示的适当目标，以及表示学习、密度估计和流形学习之间的几何联系。

    Jun, 2012

  • 和积定理：可学习可计算模型的基础

    文章介绍了将sum-product networks 扩展到更广泛的学习问题并确保可解，同时应用于结构化预测问题上取得了很好的效果，实验表明模型学习的可行性和广泛性。

    Nov, 2016

  • 对比无监督表示学习的理论分析

    本文提出了一种理论框架以分析对比学习的算法，并引入潜在类别假设，该框架使我们能够在平均分类任务上证明学习表示的性能。同时，该文还表明，学习表示可以降低下游任务的（标记）样本复杂度。

    Feb, 2019

  • 随机原型嵌入

    通过一种概率方法所提出的基于监督的深度嵌入方法，可以将来自一个领域的输入映射到一个表征空间中，其中相同类别的实例彼此靠近，而不同类别的实例则相距很远。与现有的局限于确定性的方法不同，该方法假定了围绕类别原型的存在，采用正态分布来处理实例。同时，相对于噪声和超出分布范围的输入，该方法在小样本学习上的表现也更好，并通过各种方式提高了性能。

    Sep, 2019

  • 向量空间的符号查询：概率数据库和关系嵌入的结合

    该研究借鉴概率数据库理论和算法，提出了一种新的关系嵌入模型TO，旨在解决不完整和不确定数据上的复杂查询问题，并使用有效的推断算法，证明其具有普适性和高效性。

    Feb, 2020

  • 可处理概率模型的连续混合

    本文提出了一种混合模型方法，将连续潜在空间的概率模型与可计算的概率电路相结合，用于密度估计，通过实验证明这种方法在许多标准密度估计基准测试中超越了以往的可计算模型。

    Sep, 2022

  • 概率态射和核均值嵌入下的监督学习

    本文提出了一种在监督学习中正确的损失函数概念，并通过条件概率测度和马尔科夫核的最小化来解决一般化问题。提出了解决随机不适定问题的新方法，并探讨其应用。

    May, 2023

  • 扩散模型作为表示学习器

    通过深入研究DPM的表示能力，提出了一种名为Repfusion的新型知识迁移方法，该方法利用生成型DPM获取的知识用于识别任务，通过强化学习动态地根据不同的时间步骤从现成DPM中提取表示并作为学生网络的监督，实验证明此方法在多个任务中优于现有方法，揭示了DPM作为表示学习工具的潜力和生成模型在样本生成以外的用途。

    Aug, 2023

  • 自监督学习中概率嵌入潜力揭示

    自我监督学习在无标签数据中获取有意义的表示方面发挥了关键作用。在信息论框架内开发自我监督模型，我们提出以随机嵌入方式显式建模表示，并评估其对性能、信息压缩和超出分布检测的影响。研究结果表明，在表示和损失空间中，限制一个空间可能会影响另一个空间，从而导致性能下降。此外，我们的发现表明，在损失空间引入额外的瓶颈可以显著增强检测超出分布示例的能力，只利用表示特征或其潜在分布的方差。

    Oct, 2023

  • 走向无监督表示学习：学习、评估和传递视觉表示

    无监督表示学习、卷积自组织神经网络、评估协议、表示传输、图像到图像转换

    Nov, 2023