信息论统一微观机器学习、不确定性量化和材料热力学

Apr, 2024

信息论统一微观机器学习、不确定性量化和材料热力学

Information theory unifies atomistic machine learning, uncertainty quantification, and materials thermodynamics

Daniel Schwalbe-Koda, Sebastien Hamel, Babak Sadigh, Fei Zhou, Vincenzo Lordi

TL;DR提出了一个信息论框架，将原子尺度模拟、机器学习和统计力学结合起来，通过建立相图、识别稀有事件、对数据集进行优化、以及进行模型无关的不确定性量化，统一描述了原子尺度建模中的信息相关问题。

Abstract

An accurate description of information is relevant for a range of problems in atomistic modeling, such as sampling methods, detecting rare events, analyzing datasets, or performing uncertainty quantification (UQ) in machine learning (ML)-driven simulations. Although individual methods

atomistic modeling information theoretical framework ml-driven simulations information entropy model-free uq

发现论文，激发创造

深度神经网络模型中的熵和互信息

本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

May, 2018

信息熵视角下的热力学

本文通过 Landauer 原理将热力学与信息学相互关联，从而提出信息保存作为热力学的基本原则，建立了温度无关的热力学基础理论，并通过该理论研究了量子引擎最大效率和状态转换等问题。

May, 2018

不确定最大熵原理

介绍不确定最大熵法，将黑盒机器学习模型的输出作为输入，使其能够使用噪声观测，同时提高预测精度。

May, 2023

利用机器学习进行信息分解，识别复杂系统中的相关变化

通过信息熵，我们提出了一种实用的方法来解压数据中的重要变化，以研究复杂系统。

Jul, 2023

利用无限可分核从数据中测量熵

本文提出了一个使用再生核希尔伯特空间中的算子直接从数据中非参数地获取熵测度的框架，并定义了类似于量子熵的熵泛函，此方法避免了估计底层概率分布。同时定义了基于核的条件熵和互信息的估计量，并在独立性测试上进行了数值实验且表现良好。

Nov, 2012

一种用于人工细胞的随机分子方案，从局部观测中推断其环境

本文介绍了如何使用随机量子化动力学来进行信息投影或 E 投影的统计操作，并且应用于人工细胞环境推断问题。

Apr, 2017

机器学习的确定性新信息理论

提出了新概念 troenpy，用于量化概率分布的确定性，以替代熵的应用，泛用于机器学习中，尤其在文本分类和序列数据处理方面表现突出。同时定义了量子 troenpy 以量化量子系统的确定性。

Apr, 2023

信息论简介

该研究简要介绍了经典和量子信息理论中的基本概念，例如 Shannon 熵，von Neumann 熵，互信息等，并在量子情况下考虑一些更详细的主题。

May, 2018

时序数据的信息论启发式模式分析

研究提出了一种基于信息论特征的高度通用的方法，用于识别和学习多变量时间序列数据中的模式和趋势。通过在人类活动数据中分析模式变化，结果表明该方法可以提高召回率、F1 分数和准确性，在平均基线模型和更简单的模型结构下，平均减少 18.75 倍的模型参数数量。

Feb, 2023

量子数据学习的信息论泛化界限

我们提出了一个描述量子学习的数学形式，并利用几种量子学习场景进行直观且可访问的推广边界。

Nov, 2023