本论文通过信息论的方法,对机器学习中不变表示的准确性和不变性之间的最优权衡进行了分析,并提出了一种几何特征,可以限定或精确刻画分类和回归任务的准确性和不变性之间的 Pareto 最优边界。
Dec, 2020
本论文证明了一些 representer 定理,用于处理一般情况下的支持向量机学习问题,该问题涉及到算子值半正定核和它们的再生核希尔伯特空间。在有限和无限维输入空间和凸或非凸损失函数情况下,我们证明了这个普遍框架允许无限维输入空间和某些特殊案例下的非凸损失函数等。对于导致部分非线性问题的指数最小二乘损失函数进行了详细计算。
Apr, 2023
无需对抗训练,使用信息论优化能够直接获得可控转换的公平表示和生成建模的最新性能
May, 2018
直接将一组不变性直接融入表示中,构建一种不变分量的产品空间,旨在解锁合并、拼接和重用不同神经模块的应用,并观察到分类和重建任务中的一致潜在相似性和下游性能改进。
Oct, 2023
本文介绍了一种基于规范理论(gauge theory)的优化算法,用于加速表示学习模型在时间序列数据上的收敛速度,并提高诸如矩阵分解和词嵌入模型的解释性。此外,还介绍了一种将现代文字转换为历史词汇的应用实例。
Mar, 2018
通过 Derive a strictly non-zero 单一泛化受益 & effective dimension 分析 无限制域问题,研究 Feature averaging 引起的压缩群下不变性以及 kernel Hilbert space 和 kernel 的正交分解。
Jun, 2021
通过对非凸和非可微最优化问题的研究和核表示方法,我们提供了一种通过谱学习实现数据的不变性、得出全局最优解的解决方案,并在 UCI、Extended Yale B 和 CIFAR-100 数据集上进行了实验验证,得出我们的解决方案能够实现与现有神经网络解决方案迭代最小化相当的效果。
Oct, 2019
本研究提出了一种基于核平均嵌入的正则化损失,该损失使用在超球(也称为点积核)上具有旋转不变性的核,用于自监督学习图像表示。除了与现有技术竞争力充分之外,我们的方法显着减少了自监督训练的时间和内存复杂度,使其可以在现有设备上实现非常大的嵌入维度,且比以前的方法更容易适应资源有限的设置。
Jul, 2022
本文研究对象识别中不变表示的泛化性,经过广泛实验,我们证明了不变模型学习到的非结构化潜在表示对分配偏移具有鲁棒性,因此使不变性成为有限资源环境中训练的理想属性。
本文主要介绍了强化对比学习得到的表示的不变性的方法,通过引入新的正则化器、特征平均法和可微分生成过程,对旋转等变性进行限制和控制,提高了表示在后续任务中的表现和鲁棒性。
Oct, 2020