贝叶斯流网络在连续学习中的应用
该论文介绍了贝叶斯流网络(BFNs),这是一种新的生成模型,通过贝叶斯推理修改一组独立分布的参数,然后将其作为输入传递给神经网络,输出第二个相互依赖的分布。BFNs 在连续数据、离散化数据和离散数据等方面有效,并在图像建模和字符级语言建模任务中实现了有竞争力的对数似然值。
Aug, 2023
本研究提出了一种称为 DAG-GFlowNet 的方法,使用 Generative Flow Networks 代替 MCMC 来近似推断 Bayesian 网络结构的后验分布。实验结果表明,DAG-GFlowNet 能够提供准确的 DAG 后验近似,并且相对于 MCMC 或变分推断等方法具有优势。
Feb, 2022
生成流网络(GFlowNets)是一种有前景的概率抽样框架,目前出现了一种新的家族。然而,现有的 GFlowNets 由于边缘流的直接参数化或依赖于可能难以扩展到大型操作空间的反向策略,往往导致数据效率较低。本文介绍了一种称为 Bifurcated GFlowNets(BN)的新方法,该方法采用分岔结构设计,将流程分解成状态流程和基于边缘的流程分配的独立表示。此分解使得 BN 能够更有效地从数据中学习,并更好地处理大规模问题,同时保持收敛保证。通过在标准评估基准上进行了大量实验,我们证明 BN 相对于强基准模型显著提高了学习效率和效果。
Jun, 2024
生成流网络(GFlowNets,GFNs)是一种生成式框架,用于学习离散空间上的非归一化概率质量函数。我们通过实证验证了 GFlowNets 的一些泛化机制假设,发现它们学习逼近的函数具有隐含的结构,有利于泛化。同时,我们还发现 GFlowNets 对离线和离策略训练非常敏感,但是 GFlowNets 隐含学习到的奖励对训练分布的变化具有鲁棒性。
Feb, 2024
通过模拟分布参数空间中不同模态的可微参数依赖模型,GeoBFN 是一种局部变换不变密度建模方法,适用于分子几何生成任务,并且在多个三维分子生成基准测试中取得了最先进的性能。
Mar, 2024
通过引入联邦贝叶斯神经网络(FedBNN)的连续框架,本研究通过将本地和历史数据分布的知识持续集成到单个模型中,从而在学习新的数据分布的同时保留了对历史分布的性能,实现了在联邦学习和持续学习中降低遗忘的最先进结果。
May, 2024
主题:主动学习、概率替代模型、高斯过程、不连续性、完全贝叶斯神经网络;摘要:评估了完全贝叶斯神经网络在小数据条件下使用无 U-Turn 采样器进行主动学习任务的适用性和性能,突显了其增加物理科学问题相关测试函数的预测准确性和可靠性的潜力。
May, 2024
本文提出了一个针对动态系统的基于 Bayesian 原理的因果关系发现框架,采用生成流网络架构来学习循环图的贝叶斯后验概率,该框架通过时间建立自然的因果关系,并通过实验表明其与同类算法相比,能够更好的表征同时具有循环性和因果性的问题。
Feb, 2023
在当前深度学习时代,为了在训练神经网络时使用随机梯度下降处理非平稳流数据时减轻遗忘现象,我们采用元学习范式来结合神经网络的强表示能力与简单统计模型对遗忘现象的抵抗能力,在我们的新颖元持续学习框架中,持续学习仅在统计模型中进行,而神经网络在原始数据和统计模型之间进行元学习,由于神经网络在持续学习过程中保持不变,它们免受遗忘现象的影响。该方法不仅实现了显著提高的性能,而且具有出色的可伸缩性,由于我们的方法与领域和模型无关,因此可以应用于各种问题,并与现有模型架构轻松集成。
May, 2024