Feb, 2024

可接受的对称约束下的全局最优性

PDF
TL;DR存在一种函数或度量，可以最小化给定的凸泛函或风险，并满足一种由可靠的变换组指定的对称性质。通过利用 Stein 和 Le Cam 的旧思想以及出现在可靠的定理中的近似群平均，我们得出了结果。在凸分析中被称为 orbitopes 的一类凸集变得至关重要，并且我们在非参数设定中建立了这些 orbitopes 的属性。我们还展示了一个称为 cocycle 的简单装置，可用于将不同形式的对称性化简为一个问题。作为应用，我们在对称性约束下获得了关于不变核均值嵌入和 Monge-Kantorovich 定理的结果。我们还解释了与关于不变测试的 Hunt-Stein 定理的关联。
convex functionalsymmetry propertyorbitopescocyclemonge-kantorovich theorem
发现论文，激发创造
  • 从对称性到几何性：易处理的非凸问题

    本文探讨了研究数据驱动最优化问题时遇到的非凸问题，这些问题可以通过对称性的角度来理解它们表现出的几何结构及其与目标函数构建的相关性，并讨论了未来研究的方向。

    Jul, 2020

  • 等变模型的普适性与对称性的可学习性之间的权衡

    使用等变函数作为认知模型的假设条件下，学习具有对称性和等变性的函数是不可能的；我们探究了群和半群的逼近概念，分析了线性等变网络和群卷积网络是否满足该结果，并阐述了它们的理论和实际意义。

    Oct, 2022

  • 使用轨道距离最小化学习等变性的对称化方法

    我们提出了一个通用的框架，用于将任意神经网络架构进行对称化，并使其关于给定群体具有等变性。我们构建在 Kim 等人（2023）和 Kaba 等人（2023）的对称化建议的基础上，并通过用一个直观地测量群轨道之间距离的优化来取代将神经特征转换为群表示的方法来改进它们。这种改变使我们的方法适用于比这两个提议更广泛的矩阵群，如 Lorentz 群 O (1, 3)。我们在 SO (2) 图像分类任务上实验证明了我们方法的竞争力，同时也展示了在 O (1, 3) 任务上的更广泛性。我们的实现将在此 https URL 上提供访问。

    Nov, 2023

  • 随机优化中的渐近最优性

    本文针对随机凸优化问题，提出了局部复杂度度量，并给出了与优化固有几何概念相对应的统计难度的收敛结果。基于 Nesterov 的对偶平均方法和 Riemannian 方法，开发出完全在线的适应性最优收敛算法，实现了函数特定的下界和收敛结果，并对约束鉴别和线性约束与非线性约束等方面做了探讨。

    Dec, 2016

  • （近似）群等变性下的逼近 - 泛化平衡

    通过对对称性的任务特定归纳偏差的明确合并，机器学习模型的高性能设计准则已经出现。

    May, 2023

  • 优化具有连续对称性破缺模型的方法改进

    本文介绍了一种基于规范理论（gauge theory）的优化算法，用于加速表示学习模型在时间序列数据上的收敛速度，并提高诸如矩阵分解和词嵌入模型的解释性。此外，还介绍了一种将现代文字转换为历史词汇的应用实例。

    Mar, 2018

  • 通过轻量不变特征学习对称矩阵和点云上的函数

    提出了用于机器学习对称矩阵上不变函数和对点云上不变函数的数学公式，并结合 DeepSets 在不同尺寸的对称矩阵和点云上学习函数的可行性。

    May, 2024

  • 物理学的对称群等变架构

    本文探讨了在物理学和机器学习领域中，研究对称群等变机器学习结构所带来的深度投资和收益，并讨论了应用这些方法的潜在益处和限制以及对不同物理应用的各种评估指标。

    Mar, 2022

  • 通过最优输运在旋转上同步概率度量

    提出一种新的度量同步的方法 —— 度量同步，将这个问题视为优化概率旋转测度的循环一致性，从而达到通过同步条件概率测度来估计绝对方向边际分布的目的，在计算机视觉应用中得到了有力的应用，提出了非参数黎曼粒子优化方法来解决问题。

    Apr, 2020

  • 关于表示（反）对称函数

    探讨了排列不变、等变、协变函数和反对称函数在量子物理、计算机视觉等领域的重要性， 提出了基于单个广义 Slater 行列式的反对称多项式逼近方法，并给出了等变多层感知器的明确普适性证明。

    Jul, 2020