May, 2023

DF2M：高维功能时间序列的可解释性深度贝叶斯非参数模型

PDF
TL;DR本文介绍了一种用于分析高维功能时间序列的贝叶斯非参数模型 Deep Functional Factor Model (DF2M)，使用印度 Buffet 过程和多任务高斯过程以及深核函数来捕捉非马尔可夫和非线性时间动力学，并结合深度神经网络，提供了一种可解释的方法，同时开发了有效的变分推理算法进行 DF2M 推断，在四个真实数据集上的实证结果表明，与传统的深度学习模型相比，DF2M 模型具有更好的可解释性和卓越的预测精度。
发现论文，激发创造
  • 贝叶斯深度网络广义线性模型（GLM）和广义线性混合模型（GLMM）

    使用深度前馈神经网络、广义线性模型和贝叶斯推断等方法，提出一种高精度的回归和分类方法，能够在原有方法中量化预测不确定性并进行变量选择，并在多种模拟和真实数据示例中得到了令人满意的结果。

    May, 2018

  • 多维时间序列预测的贝叶斯时态分解

    本文提出了一种贝叶斯时间分解（BTF）框架，用于在存在缺失值的情况下对多维时间序列进行建模，通过将低秩矩阵 / 张量分解和向量自回归 (VAR) 过程集成到一个概率图模型中，该框架可以表征大规模时间序列数据中的全局和局部一致性，并开发了有效的 Gibbs 采样算法进行模型推断和预测，在多个缺失数据和滚动预测任务上验证了该框架的显著优越性。

    Oct, 2019

  • 深层潜在力模型：基于 ODE 的过程卷积用于贝叶斯深度学习

    本研究提出了深度潜在力模型（DLFM），它是一种面向领域的方法，用于准确建模高度非线性动力系统并量化不确定性，该模型采用深度高斯过程架构，每个层的核函数基于普通微分方程和过程卷积的框架导出，通过权重空间和变分感应点的高斯过程近似，我们证明了该模型能够捕捉真实世界多元时间序列数据中的高度非线性行为，并且在基准回归任务上与其他概率模型具有可比性能，同时我们还通过实证评估证明了感应点框架对基于 LFM 的模型的外推能力的负面影响。

    Nov, 2023

  • 非参数因子轨迹学习动态张量分解

    该研究提出了一种名为 “NONFAT” 的方法，它使用高斯过程先验和稀疏变分学习算法来实现动态张量分解，以分析伴随有时间信息的多维数据，并应用于多种实际应用中。

    Jul, 2022

  • 大规模 (和深度) 因子模型

    通过打开 Deep Learning 在投资组合优化中的黑匣子，我们证明一个足够宽且任意深的神经网络（DNN）在最大化随机折现因子（SDF）的夏普比率时等效于一个大型因子模型（LFM）：一个使用许多非线性特征的线性因子定价模型。这些特征的性质取决于 DNN 的架构，可以明确地进行处理。这使得我们首次能够以闭合形式推导出端到端训练的基于 DNN 的 SDF。我们通过实证评估了 LFM，并展示了各种架构选择如何影响 SDF 的性能。我们记录了深度复杂性的优势：有足够的数据量时，DNN-SDF 在深度神经网络（NN depth）中的外样本表现随着深度的增加而增强，在约 100 个隐藏层的巨大深度饱和。

    Jan, 2024

  • 利用高斯过程的深度因素进行预测

    本文提出了一种结合了经典时间序列模型和深度神经网络优点的数据驱动和可扩展的混合模型，通过潜在的全局深层次组件和局部的经典高斯过程模型来处理不确定性，并在实践中展示了比现有技术更高的准确性。

    Nov, 2018

  • 深层函数机器：用于拓扑层表达的广义神经网络

    本文提出了一种称为深度函数机器（DFMs）的深度神经网络的概括，DFMs 作用于任意维度（可能是无限）的向量空间，并证明了一族 DFMs 对于输入数据的维度是不变的。使用这一概括，我们提出了一个新的理论，即有界非线性算子在函数空间之间的通用逼近。然后，我们建议 DFMs 提供了一种表达架构，用于以拓扑考虑为基础设计新的神经网络层类型，最后介绍了一种新的架构 RippLeNet，以实现具有分辨率不变性的计算机视觉，并在实践中取得了最先进的不变性。

    Dec, 2016

  • 深度预测因素

    本研究提出了一种混合模型，将经典时间序列模型与基于深度神经网络的模型结合起来，通过全局深度组件实现可扩展性和数据驱动，同时通过本地经典模型处理不确定性。实验证明，该模型在数据效率、准确性和计算复杂性方面具有优势。

    May, 2019

  • 深度卡尔曼滤波器能够进行滤波

    连续时间的深度卡尔曼滤波器 (DKF) 可以近似实现一类非马尔可夫和条件高斯信号过程的条件概率分布，适用于数学金融中的债券和期权价格模型校准等传统基于模型的过滤问题。

    Oct, 2023

  • 傅里叶基密度模型

    我们介绍了一种轻量级、灵活和端到端可训练的概率密度模型，其参数由受限的傅里叶基函数表示。我们评估了该模型在逼近多模态一维密度方面的性能，这通常是难以拟合的。与 [1] 中引入的深度分解模型相比，我们的模型在类似的计算预算下实现了较低的交叉熵。此外，我们还通过一个玩具压缩任务对我们的方法进行了评估，展示了它在学习压缩中的实用性。

    Feb, 2024