为了理解生物和人工神经网络的操作,研究者们需要一个标准化的工具集来量化其结构等因素对神经表征的影响,这篇论文提出了一族量化表征不同神经网络之间相似性的度量空间,利用这个框架使得神经网络表征可以整合进任意的机器学习方法中,然后利用大规模生物和深度学习数据集来验证这些方法,最终找出了神经表征之间与结构和性能之间的关系。
Oct, 2021
本文提出了一种基于连续凸损失优化的简单优雅方法,用于线性距离度量学习,并针对不同的噪声模型推导了相应的损失函数。研究结果表明,即使数据存在噪声,只要样本充足就可以学习到地面事实线性度量,并提供相应的样本复杂度限制。此外,我们还提出了一种有效地将学习模型截断为低秩模型的方法,该方法可证明在损失函数和参数方面都能保持准确性,这是该领域首次出现这种结果。实验结果表明了理论结果的正确性。
Jun, 2023
本研究主要探讨了在度量空间中的对象,如最近邻搜索和聚类等重要数据挖掘问题,以及在图上聚类和分类等的应用。研究发现,虽然一些流行的大规模图距离量度并非度量空间,但可以定义一类包含多种距离度量且具有可计算性和可扩展性的图距离度量方法。此外,研究人员还探讨了如何将节点的属性信息融入度量中。
Jan, 2018
从不变性观点研究深度神经网络的几何和容量度量之间的关系,引入了具有期望不变性的 Fisher-Rao 范数作为新的容量概念,并发现了其分析特征和规范比较不等式,证明了其作为多种基于范数的复杂度度量的伞兵角色,讨论了引入新的度量方式对泛化误差的影响,使用 CIFAR-10 数据集的大量数值实验支持了理论分析的发现,研究的分析基于多层整流器网络局部导数的关键结构引理。
Nov, 2017
通过推导上、下界,分析了高维网络表示的几何相似性测量方法的统计效率和估计不确定性,提出了一种新的矩法估计器,在高维特征空间中优于标准估计器,为高维形状分析奠定了统计理论基础。
Oct, 2023
本研究提出了一种新的角度损失来学习更好的相似性度量,在三角形中约束负面点的角度具有大小不变性,并强制施加三阶几何约束,从而捕捉比对比损失或三重对损失更多的局部结构。
Aug, 2017
本文讨论了利用等距逼近理论解决深度度量学习中 Triplet Loss 网络崩塌问题以及 Hard Negative Mining 的理论依据,并提出了未来避免网络崩塌的 Hard Negative Mining 方法。此理论还可拓展至其他基于欧几里得空间的度量学习方法。
Oct, 2022
本文研究了基于概率测度的积分距离度量学习算法在神经网络距离度量的极小值估计问题。通过样本推算,我们得到了对神经网络距离度量的估计误差的极小值下限和比现有估计误差上限更紧的上界,并证明了在实践中经验神经网络距离度量是真实神经网络距离度量的有效近似。
Nov, 2018
这篇论文研究了在随机环境中对时间距离的定义和估计,通过对比学习和拟度量学习方法,提出了一种满足三角不等式的时间距离估计方法,并展示了其在强化学习算法中的应用和性能优势。
Jun, 2024
提出了一种基于 “软” 置换的度量方式,用于衡量具有不同大小的神经网络之间的距离,并避免了其他方式所遭受的违反直觉的结果,从而提供了对神经表示的补充几何洞见。
Nov, 2023