- 快速评估 Ollivier-Ricci 曲率下界:理论与计算的桥梁
我们提出了一种使用 Wasserstein 距离的广义 Ricci 曲率(ORC)的简化方法,该方法在计算复杂性上具有线性,特别适用于分析大规模网络,并通过大量模拟和对合成和真实数据集的应用来展示了该方法在评估 ORC 方面的显著改进。
- 几何视角下的焦点损失:降低曲率以增强模型校准
机器学习算法在决策情境中的关键因素不仅是模型的准确性,还包括模型的置信水平。然而,模型在分类问题中的置信水平常常与实际预期的模型置信明显偏离。本研究旨在通过对焦损失函数进行几何重新解释,以理解焦损失的行为。我们的分析表明,焦损失可以降低训练 - 多散布低曲率模型融合的集成对抗防御
通过降低攻击的可转移性,我们的研究试图增强集成模型的多样性,特别关注在曲率的影响下训练多个更多样且具有低曲率的网络模型,从而提高对各种攻击的鲁棒性。
- 利用可行集的曲率在在线凸优化中获得快速速率
基于在线凸优化和曲率的可行集合的分析,本文提出了一种新的方法通过利用可行集合的曲率来实现快速收敛,不仅可以适用于凸损失函数,同时还能在随机、对抗性和受干扰的环境下获得良好的性能。
- AAAICR-SAM:曲率规则的锐度感知最小化
通过最小化最坏情况损失,使用单步梯度上升作为近似方法,我们提出了曲率正则化 SAM(CR-SAM),通过引入归一化的 Hessian 迹来准确测量训练和测试集上的损失曲线的曲率。我们的实证评估结果显示,CR-SAM 在各种数据集上持续提高了 - 曲率解释了塑性丧失
神经网络的可塑性丧失是一种现象,其能力从新的经验中学习受到影响。本文提供了关于可塑性丧失的一致解释,认为在训练过程中神经网络方向的曲率减少导致了可塑性的丧失。通过对多个连续监督学习问题进行系统的实证研究,我们发现曲率减少与可塑性丧失同时或之 - 数据云上 Ollivier 瑞士曲率的连续极限:逐点连续性和全局下界
研究低维流形上的曲率与由采样点构成的随机几何图的曲率之间的关系,并讨论了该全局离散曲率边界对图上热核的收缩性质和数据云中流形学习的影响。
- ICML流形结构数据上的线性回归:外在几何对解决方案的影响
研究了在流形上建模的线性回归,并分析了嵌入空间中的曲率对回归解决方案唯一性的影响,揭示了数据流形几何在确保回归模型对分布外推理的稳定性方面的作用。
- ICML潜在图像流形的数据表示研究
本文探究了图像流形的曲率,发现卷积神经网络在分类任务中的整体曲率表现具有特殊的特点,即初始速度的加速,接着进入了一个较长的平稳期和之后的再加速。此外,我们发现最后两层图层的曲率缺口与网络的泛化能力有很强的相关性,并观察到常见的正则化方法,如 - 双曲曲率图神经网络
本研究探索图形拓扑的离散曲率和嵌入空间的连续全局曲率的属性,提出了一种基于超边曲率感知的图神经网络(HCGNN),该网络利用离散曲率引导周围消息传递,并同时自适应调整连续曲率。在节点分类和链接预测任务上进行了广泛的实验,结果表明所提出的方法 - ICLR超图的 Ollivier-Ricci 曲率:一个统一的框架
通过将几何和拓扑学结合起来,曲率是一种功能强大且表达力强的不变量。我们开发了 ORCHID,这是一种灵活的框架,可以将 Ollivier-Ricci 曲率推广到超图,并证明结果曲率具有有利的理论特性,在不同领域的合成和实际超图上进行了广泛实 - 线性化潜在状态空间中的多步预测用于表示学习
本文提出了一种新的方法,通过添加多步预测来学习本地线性状态空间,从而允许更明确地控制曲率,并通过实证证据表明,该方法可允许学习更好的潜在状态空间。
- ICLR通过曲率理解图形上的压缩和瓶颈
本文研究图神经网络中信息传递中的 over-squashing 问题,通过引入基于曲率的重连方法以减轻该问题,同时探究其根源为图中负曲率边所导致的瓶颈现象。
- ICCV低曲率激活减少对抗训练中的过拟合
本文研究在对抗训练中如何选择合适的激活函数,发现使用具有低曲率值的激活函数可以有效减小一般化误差,包括标准误差和稳健误差,并且这种现象适用于可微的平滑激活函数和不可微的非平滑激活函数。此外,对于具有低曲率的激活函数,没有出现模型的双下降现象 - 稀疏扩张图拥有负曲率
研究证明,在有界次数扩展器中,不存在非负 Ollivier-Ricci 曲率,即使允许大量度数、特征值和负曲率边的比例缩小到零,这解决了 Naor 和 Milman 提出并由 Ollivier(2010)宣传的长期存在的一个问题。
- ICLR混合曲率变分自编码器
本文提出一种混合曲率变分自编码器,可以在常数曲率的黎曼流形上训练,其中每个组件的曲率可以是固定或可学习的,将欧几里得变分自编码器推广到曲线潜空间,并在组件的曲率接近 0 时恢复欧几里得空间。
- 使用 Ricci 流对网络进行社区检测
通过将网络看作几何对象并将网络中的社群视为几何分解,我们应用曲率和离散 Ricci 流的几何方法来分解网络社群。在具有基本真实社群结构的网络上测试了我们的方法,并实验验证了此几何方法的有效性。
- 深度网络的几何形态:能量图细分
本文研究了使用分段仿射和凸非线性的深度神经网络的几何结构,证明了每个 MASO 层的输入空间分割对应于一个幂级数,并提供了其分析形式。我们进一步展示 MASO 层的组成产生了一个逐渐细分的幂图,并为分类问题得到了一个 MASO DN 在输入 - 曲率正则化带来的鲁棒性及其相反情况
本文研究了对抗训练对分类景观和决策边界几何形态的影响,展示了对抗训练导致的输入空间曲率减少及网络更 “线性” 行为的结果。我们提出一个直接最小化损失面曲率的新的规则化方法,并提供了理论上的证据表明大鲁棒性与小曲率之间存在强关联。
- NIPS将曲率引入标签空间
通过引入曲率和使用度量张量作为自调节方法,我们提出一种基于学习算法无关的叠加方案,以更好地表示这些关系。我们提出了一些通用约束和特定的统计参数化方法,并提出了使用基于自编码器的参数化的未来研究方向。