Oct, 2023

时空多模态协变深度核点过程的无集成训练

PDF
TL;DR本研究提出了一种新颖的深空时点过程模型，它结合了多模态协变量信息，通过使用更灵活的深度核模型复杂事件与协变量数据之间的关系，提高了模型的表达能力。为了解决由于非可积深度核导致的 DKMPP 不可行的训练过程，我们采用了基于分数匹配的无积分方法，并通过采用可扩展的降噪分数匹配方法进一步提高了效率。我们的实验证明，DKMPP 及其相应的基于分数的估计器优于基准模型，展示了结合协变量信息、利用深度核以及采用基于分数的估计器的优势。
deep spatio-temporal point process modelmultimodal covariate informationdeep kernel mixture point processesscore matchingdenoising score matching method
发现论文，激发创造
  • 深度混合点过程：利用丰富的上下文信息进行时空事件预测

    本研究提出了基于深度混合点过程（DMPP）的点过程模型，用于利用丰富的上下文信息来预测时空事件。模型的密度函数被设计为核函数的混合，其中混合权重由深度神经网络建模，并且将复杂非线性上下文影响到事件发生的自动学习成为可能。与现有方法相比，DMPP 在真实世界数据集上具有更好的预测性能。

    Jun, 2019

  • 学习确定性点过程核的参数

    该研究使用贝叶斯方法学习确定性点过程的内核参数，解决了非凸似然函数的难题，应用于神经病理学和图像多样性的研究中。

    Feb, 2014

  • 大边界行列式点过程

    本文探讨了如何通过重新参数化核矩阵，并提出了一种新的基于大间隔分离原则的参数估计技术来学习标记训练数据的 DPP 的参数（核矩阵），以及在文档和视频摘要的挑战性应用中使用我们提出的方法进行建模。

    Nov, 2014

  • 卷积深度核机器

    深度核机器（DKMs）是一种最近引入的核方法，具有包括深度神经网络和深高斯过程在内的其他深度模型的灵活性。本文介绍了卷积 DKMs 以及一种高效的跨域引导点逼近方案，并且开发和实验评估了多种模型变体，包括针对卷积 DKMs 设计的 9 种不同类型的规范化方法、两种似然函数和两种不同类型的顶层。尽管训练时间只需要大约 28 个 GPU 小时，比完整的 NNGP/NTK/Myrtle 核函数快 1 到 2 个数量级，但结果模型在 MNIST 上达到约 99% 的测试准确率，在 CIFAR-10 上达到 92% 的准确率，在 CIFAR-100 上达到 71% 的准确率，同时实现了可比较的性能。

    Sep, 2023

  • 连续确定性点过程的近似推断

    本研究提出了两个高效的 Determinantal Point Processes 采样方案，并将其运用于人体姿态合成和活动空间的排斥性混合建模。

    Nov, 2013

  • 使用变分德特密度点过程实现稀疏化的多样性

    提出了一个基于行列式点加工（DPP）的新颖多样的特征选择方法，用于生物信息学中的癌症基因预测和空间统计，显著提高了特征多样性，不降低准确性。

    Nov, 2014

  • 使用行列式点过程学习不同的生成

    本文探讨了使用 Determinantal Point Process (DPP) 的无监督惩罚损失方法以及内嵌在敌对训练和变分自编码器中的生成 DPP 方法。这种方法可以生成更高质量的样本而且更具多样性，同时不会改变原始的训练方案。

    Nov, 2018

  • 时空扩散点过程

    该研究提出了一种新的基于扩散模型的参数化框架，用于学习复杂的时空联合分布，它打破了现有解决方案对时空依赖关系的限制，并实现了灵活准确的预测。

    May, 2023

  • 深度核学习

    介绍了可伸缩的深度核，将深度学习架构的结构属性与核方法的非参数灵活性相结合，通过局部核插值、引入点、Kronecker 和 Toeplitz 代数进行转换，使用这些闭式核可以用作标准核的替代品，在表达能力和可伸缩性方面具有优势，通常情况下，学习和推断代价为 $ O (n)$，而预测代价为每个测试点的 $O (1)$。

    Nov, 2015

  • 关于单前向传递不确定性的特征折叠和深度核学习

    通过引入双 Lipschitz 约束，Deep Kernel Learning (DKL) 相对距离的保留提高了不确定性的估计质量。

    Feb, 2021