Sep, 2023

深度内核学习在控制合成中的潜力

PDF
TL;DR本研究提出了一种基于 Deep Kernel Learning 的框架，用于对具有复杂规范的随机动态系统进行控制合成，采用时态逻辑规范，并使用 Deep Kernel Learning 从数据中学习未知系统，并将其正式抽象为 Interval Markov Decision Process 进行带有正确性保证的控制合成。通过对包括一种 5 维非线性随机系统在内的各种基准测试的验证，证明了该方法的有效性，并展示了与最先进的竞争方法相比，使用 Deep Kernel Learning 进行控制合成的显著优势。
deep kernel learningcontrol synthesisstochastic dynamical systemstemporal logic specificationsinterval markov decision process
发现论文，激发创造
  • 深度核学习的前景和风险

    研究深核学习在处理真实数据时可能存在的过拟合问题及其原因，使用 UCI、CIFAR-10 和 UTKFace 三个数据集进行实验验证。发现过度最大边缘似然优化可能会导致严重的过拟合问题，并通过完全贝叶斯方法得到了更好的性能提升。

    Feb, 2021

  • 动力系统的循环深度核学习

    使用基于数据驱动的随机变分深度核学习以及递归版本，提出了一种构建 ROMs 的方法，能够对物理资产的复杂动态进行精确描述，并具备去噪、重建、学习紧凑表征系统状态、预测以及量化建模不确定性的能力。

    May, 2024

  • 关于单前向传递不确定性的特征折叠和深度核学习

    通过引入双 Lipschitz 约束，Deep Kernel Learning (DKL) 相对距离的保留提高了不确定性的估计质量。

    Feb, 2021

  • 使用深度强化学习控制混沌系统

    本文利用基于模型的强化学习算法，结合深度神经网络，针对一维 Kuramoto-Sivashinsky 方程描述的非线性混沌系统进行控制，通过局部测量得到的限制性传感器数据指引控制策略，实现了混沌状态下目标状态的稳定控制，并有望在复杂的液体系统控制领域中得到广泛应用。

    Jun, 2019

  • 自适应深度核学习

    该研究基于深度神经网络学习参数化的内核算子，在 few-shot 回归任务中学习内核家族，从而使算法能够识别每个任务的适当内核，并通过实际应用于药物发现领域的 few-shot 回归任务与现有算法进行比较，表明其在复杂任务分布和状态下的性能优越。

    May, 2019

  • 量子核混合用于概率深度学习

    该研究通过量子密度矩阵的数学形式导出了一种新颖的概率深度学习方法，即量子核混合模型，旨在建立不同 iable 的模型进行密度估计、推理、采样，实现端到端深度神经模型集成，其具有广泛的应用价值，特别是在密度估计、判别学习和生成建模中展现出了显著的优势 。

    May, 2023

  • 主动深度核学习分子功能：实现动态结构嵌入

    通过使用深度内核学习 (Deep Kernel Learning, DKL) 对分子探索进行主动学习方法，本研究与传统变分自编码器 (Variational Autoencoders, VAEs) 对比，揭示了潜变量空间中稀疏规律性的限制，而 DKL 提供了一种更全面的观点，通过将结构与性质相关联，创建能够优先考虑分子功能的潜变量空间。该研究强调了 DKL 在分子研究中的潜力，为理解和发现超越传统 VAE 限制的分子功能提供了新途径。

    Mar, 2024

  • 深度核学习

    介绍了可伸缩的深度核，将深度学习架构的结构属性与核方法的非参数灵活性相结合，通过局部核插值、引入点、Kronecker 和 Toeplitz 代数进行转换，使用这些闭式核可以用作标准核的替代品，在表达能力和可伸缩性方面具有优势，通常情况下，学习和推断代价为 $ O (n)$，而预测代价为每个测试点的 $O (1)$。

    Nov, 2015

  • 隐式核学习

    本文旨在通过深度神经网络隐式生成模型来学习核函数谱分布，从而提高数据驱动的方法用于生成式对抗网络和监督学习等多种应用，通过 IKL 的应用，本文成功地在图像和文本生成测试中优于传统核函数，同时在有效取得超越现有先进核学习算法的成果

    Feb, 2019

  • 卷积深度核机器

    深度核机器（DKMs）是一种最近引入的核方法，具有包括深度神经网络和深高斯过程在内的其他深度模型的灵活性。本文介绍了卷积 DKMs 以及一种高效的跨域引导点逼近方案，并且开发和实验评估了多种模型变体，包括针对卷积 DKMs 设计的 9 种不同类型的规范化方法、两种似然函数和两种不同类型的顶层。尽管训练时间只需要大约 28 个 GPU 小时，比完整的 NNGP/NTK/Myrtle 核函数快 1 到 2 个数量级，但结果模型在 MNIST 上达到约 99% 的测试准确率，在 CIFAR-10 上达到 92% 的准确率，在 CIFAR-100 上达到 71% 的准确率，同时实现了可比较的性能。

    Sep, 2023