将曲率引入标签空间
本研究提出了一种将目标嵌入到低维空间以提高神经网络收敛速度的方法,其中采用随机投影技术以零计算成本提高了收敛速度,并使用归一化的特征值表示类流形以提高编码的准确性。实验证明该方法能显著提高 CIFAR-100、CUB200-2011、Imagenet 和 MIT Places 数据集上的神经网络收敛速度和准确率。
Jun, 2018
本文提出一种混合曲率变分自编码器,可以在常数曲率的黎曼流形上训练,其中每个组件的曲率可以是固定或可学习的,将欧几里得变分自编码器推广到曲线潜空间,并在组件的曲率接近 0 时恢复欧几里得空间。
Nov, 2019
超辐角深度学习是计算机视觉中一个不断增长的研究方向,基于交替嵌入空间的独特属性。我们的论文关注于曲率学习,通过改进流行的学习算法的模式以及提供一种新颖的归一化方法,约束嵌入在变量代表半径范围内的嵌入空间,从而在直接分类和分层度量学习任务中实现了一致的性能提升。
May, 2024
利用等角基向量(EBVs)代替常规全连接分类器,生成正规化向量嵌入作为 “预定义分类器”,通过最小化输入嵌入与分类 EBV 之间的球形距离,在推理过程中识别与最小距离的分类 EBV 以得出预测,实验证明该方法在提升分类性能的同时节省额外计算量。
Mar, 2023
本文介绍了一种用于训练多标签、大规模多类别图像分类模型的方法,通过将高维稀疏标签嵌入到具有单位范数的低维密集球体上,并将分类问题视为该球体上余弦相似度回归问题,其比基于逻辑回归的 sigmoid 交叉熵损失函数的监督方法更快更准确,经过在 300 million 高分辨率图像和 17,000 标签的数据集上测试,相对于逻辑回归,该方法收敛速度明显提高,平均精度也提高了 7%。
Jul, 2016
我们提出了一种基于全曲率空间的完全产品百叶窗变换器,结合了 tokenized 图变压器,通过端到端的方式学习适合输入图的曲率,以及一种核化的非欧几里得注意方法,实现了线性时间和内存成本与节点和边的数量成线性关系的模型在非欧几里得域的功能扩展。实验结果表明将变形器推广到非欧几里得域的好处。
Sep, 2023
本文介绍了一种通过使用(产品)恒定曲率空间的图神经网络的数学基础来建模非欧几里德几何的方法,并利用类欧几里得的重心坐标来扩展了图卷积网络,实现了对特定真实世界数据特性(例如无标度、分层或循环)的归纳偏差,经实验证明,在符号数据的节点分类和畸变最小化任务中,我们的方法比欧几里得图卷积网络表现出更好的性能。
Nov, 2019
通过集成反应分类标签的任何种类的语义信息,本研究旨在改善模型的可解释性和可靠性,并讨论了准确性、错误严重性和学习内部表示之间的权衡,以及在可解释性和对抗性鲁棒性方面的进一步利用。
Aug, 2023
提出了一种新颖的算法,用于通过非线性嵌入向量到低维欧氏空间中进行监督判别距离学习,该方法可以被视为核神经网络,并且可以通过类似于线性 Mahalanobis 距离度量学习算法的近似核化得出,该方法的模型参数数量和测试时间评估复杂度均为 O (dD),其中 D 是输入特征的维度,d 是投影空间的维数,在具有数十万个训练对的 CNN 特征的数据集上进行了实证比较。
Sep, 2015