Feb, 2018

信息最大化神经网络进行自动物理推理

PDF
TL;DR介绍了一种基于机器学习技术的信息最大化神经网络 (IMNN) 方法，可以自动找到最佳的非线性数据压缩摘要来近似完整的数据信息，从而实现精准且高效的宇宙学参数估计。
compressing large data setsmachine learningartificial neural networkscosmological parameterslikelihood-free inference
发现论文，激发创造
  • 用于隐式模型的神经近似充分统计量

    本文提出了一种使用深度神经网络学习数据的互信息最大化表示来构建难以计算似然函数的隐式生成模型的摘要统计量，并将其应用于传统的近似贝叶斯计算和最近的神经似然方法，提高了它们的性能。

    Oct, 2020

  • 神经群体 Infomax 快速稳健非监督学习的信息论框架

    提出了一种基于 infomax 原理的框架，可实现对大规模神经群体进行无监督学习。该方法使用基于渐近的方法来对大规模神经群体的信息论下限进行计算，通过渐进性的不断往全局信息论最优解靠近的过程，可以获得一个很好的初始值。基于该初始值，提出了一个高效的算法来从输入数据集中学习特征表示，并且该方法适用于完备、过完备和欠完备情况下的基函数。和现有的方法相比，该算法在无监督表示学习的训练速度和鲁棒性方面都具有明显的优势，而且还可以轻松地扩展到用于训练深层结构网络的监督或无监督模型。

    Nov, 2016

  • MISNN: 半参数神经网络多元插补

    本文提出了一个新的算法 MISNN，用于处理高维缺失数据的多重插补问题，该算法借助于神经网络的逼近能力，将特征选择嵌入 MI 模型中，经过实验证明在插补准确度、统计一致性和计算速度等方面优于现有的 Bayesian Lasso 和矩阵补全等最新算法。

    May, 2023

  • 高效、准确、轻量级的基于高斯局部线性映射的连续仿真推理

    使用结构化概率分布的混合模型，提供了逼真的后验推断，相较于基于神经网络的仿真推断方法，在计算上具有更小的足迹，对于具有复杂模型和难以计算的似然函数的贝叶斯推断提供了一个可行的选择。

    Mar, 2024

  • 通过最大化信息自我增强训练学习离散表示

    信息最大化自增强训练（IMSAT）是一种利用数据扩增对离散表述的不变性进行约束的方法，由此产生的结果在聚类和无监督哈希学习方面具有最先进的效果。

    Feb, 2017

  • MIM: 互信息机器

    引入 Mutual Information Machine (MIM)，一种概率自编码器，用于学习观测和潜变量的联合分布。MIM 反映了三个设计原则：低散度、高互信息和低边际熵，这有助于学习聚类潜在表示。与极大似然法和变分自编码器 (VAE) 相比，实验表明，MIM 通过避免后验崩溃，学习具有高互信息和一致的编码和解码分布的表征。

    Oct, 2019

  • 通过互信息神经估计的贝叶斯隐式模型实验设计

    对于内隐随机模型，在数据生成分布复杂度很高但采样是可能的情况下，我们应当采用贝叶斯实验设计来最大限度地提高数据与参数变量之间的互信息，并利用基于神经网络的互信息估计来处理计算成本较高的难题，并在模拟研究中展示其可行性。

    Feb, 2020

  • 使用变分贝叶斯神经网络约束 N 体模拟的宇宙学参数

    本文介绍了基于深度学习的近似贝叶斯神经网络和多项式归一化流方法，应用于天体物理参数恢复，发现与标准贝叶斯神经网络和翻转估计器相比，该方法能够更好地提高预测性能和准确估计不确定性，缓解变分参数的误差引入，并得到更接近真实后验分布的预测分布，从而为使用网络提供更合理的预测分布。该方法提高了维度的灵活性，有助于恢复大量的天体物理参数。

    Jan, 2023

  • 深度神经网络中的信息压缩表现：自适应估计器

    此研究探讨神经网络采用信息瓶颈理论通过压缩神经网络表示来提高泛化性能。研究结果表明，激活函数的饱和状态并非压缩的必要条件。但是 L2 正则化可以显著增加压缩，同时防止过拟合。在多次正则化后，只有最后一层的压缩与泛化性能呈正相关关系。

    Feb, 2019

  • 关于无数据结构化剪枝的因果推断

    本文从因果推理的角度应对神经网络尺寸扩大导致的资源消耗过高的问题，提出一种评分机制来进行神经网络的结构化剪枝和压缩，实现了在各种数据集和模型尺寸下的竞争性表现。

    Dec, 2021