Aug, 2023
超几何神经网络表示潜在树结构的容量界限
Capacity Bounds for Hyperbolic Neural Network Representations of Latent Tree Structures
Anastasis Kratsios, Ruiyang Hong, Haitz Sáez de Ocáriz Borde
TL;DR通过 ReLU 激活函数，我们研究了深度双曲神经网络（HNNs）的表示容量，证明了 HNNs 能够将任何有限加权树以 ε- 等度量嵌入到至少二维的带有给定曲率 κ<0 的双曲空间中，其中 ε>1（ε=1 时最优）。我们在实现嵌入的 HNN 上建立了网络复杂性的严格上界，发现实现图形表示的 HNN 的网络复杂性与表示保真度 / 失真率无关。我们将这一结果与在嵌入一个具有 $L>2^d$ 个叶子的树到 $d$ 维欧几里得空间时，任何 ReLU 多层感知器（MLP）必须施加的失真下界进行了对比，我们证明至少为 Ω(L^{1/d})；与定义 MLP 的深度、宽度和（可能是不连续的）激活函数无关。