Dec, 2023

优化无似然推断：利用自监督神经对称嵌入

PDF
TL;DR通过优化无似然推断，利用自监督学习以及物理问题中的对称性数据增强，通过联合嵌入学习物理对称性（如时间平移），进而使用归一流在参数条件之前利用嵌入网络总结数据进行参数推断，相比不使用预训练对称性感知表示的归一流，本文在两个简单物理问题中展示了更快的收敛速度和更少的参数数量。
发现论文，激发创造
  • 上下文对称性：通过上下文世界模型进行自监督学习

    通过关注上下文，我们提出了一种能够对不同变换具有适应性的通用表示学习算法，该算法通过学习等变性而不是不变性，使模型能够在给定少量示例作为上下文时，将所有相关特征编码为通用表示，并在等变性相关任务上展现出明显的性能提升。

    May, 2024

  • 研究学习的李群生成器 (LieGG)

    提出一种方法来提取神经网络学习的对称性并评估网络对其的不变性程度。结果表明网络的对称性普遍存在于不同的结构中，但学习到的对称性质量取决于深度和参数数量。

    Oct, 2022

  • 用神经网络学习李群对称变换

    本文介绍了一种发现和表征数据集中未知对称性（Lie 群对称）的方法，旨在解决神经网络中进行对称性硬编码的问题，适用于模型选择、生成建模和数据分析等领域。

    Jul, 2023

  • 自我监督学习的李对称偏微分方程模型

    本研究通过自监督学习的联合嵌入方法从异构数据中学习 PDEs 的通用表示，其表现优于基准方法，同时改善了神经求解器的时间步进性能。

    Jul, 2023

  • 机器学习中实施、发现和促进对称性的统一框架

    提供了将对称性引入机器学习模型的一种统一的理论和方法框架，包括强制已知对称性、发现未知对称性和通过施加凸正则化函数来促进对称性等方面。

    Nov, 2023

  • 潜在空间对称性发现

    提出了一种能够从数据中发现非线性对称性的新颖生成模型 LaLiGAN，该模型可以将数据映射到特征空间，其中对称性变得线性，并同时在特征空间中发现对称性，理论上表明在某些条件下可以表达任何非线性对称性。实验结果显示，该方法可以捕捉到高维观测中的内在对称性，从而得到一个有用于其他下游任务的结构良好的特征空间。在各种动态系统的方程式发现和长期预测中展示了 LaLiGAN 的应用案例。

    Sep, 2023

  • 利用自一致性进行数据高效分期贝叶斯推断

    提出一种方法，通过利用概率联合模型 $p (heta, y)$ 中的通用对称性，提高摊销贝叶斯推理 (ABI) 的效率和准确性。通过对联合模型的近似表示，根据逆向贝叶斯定理估计边缘似然，并将对称性破坏作为损失函数来加速条件神经密度估计器的学习动态。将该方法应用于具有显式似然函数 (基于似然) 的双峰玩具问题和具有隐式似然函数 (基于模拟) 的现实模型。

    Oct, 2023

  • 通过概率内省进行几何稳定特征的自监督学习

    本文介绍了自监督学习在减少人工标注数据用于训练深度神经网络方面的应用，并指出了该方法对于几何定向任务，如语义匹配和部件检测的可扩展性，同时展示了自监督预训练网络在学习语义对象部件方面相较于其它预训练选项所需较少的监督，并且这种预训练对于语义对象匹配非常优秀。

    Apr, 2018

  • 学习对称嵌入以实现等变世界模型

    利用学习对称嵌入网络（SENs）的方法能够促进等变网络应用于具有复杂对称性表示的数据，并可能相对于全等变和非等变基线产生精度和泛化方面的改进。

    Apr, 2022

  • 优化具有连续对称性破缺模型的方法改进

    本文介绍了一种基于规范理论（gauge theory）的优化算法，用于加速表示学习模型在时间序列数据上的收敛速度，并提高诸如矩阵分解和词嵌入模型的解释性。此外，还介绍了一种将现代文字转换为历史词汇的应用实例。

    Mar, 2018