信息论半监督度量学习与熵正则化

ICMLJun, 2012

信息论半监督度量学习与熵正则化

Information-theoretic Semi-supervised Metric Learning via Entropy Regularization

Gang Niu, Bo Dai, Makoto Yamada, Masashi Sugiyama

TL;DR提出了一种基于信息论的通用方法 Seraph，它适用于度量学习，并且不依赖于流形假设，并通过熵正则化将监督和非监督部分集成在自然且有意义的方式中。此外，Seraph 通过鼓励从度量引出的低秩投影来规范化，它是一种鲁棒性的最优化方法，与许多众所周知的全局和局部度量学习方法相比具有竞争优势。

Abstract

We propose a general information-theoretic approach called seraph (SEmi-supervised metric learning Paradigm with Hyper-sparsity) for metric learning that does not rely upon the manifold assumption. Given the prob

metric learning seraph entropy regularization mahalanobis distance low-rank projection

发现论文，激发创造

HIER: 层次正则化度量学习超越类标签

本文提出了一种新的监督学习正则化方法，名为 HIER，它可以在超几何空间中学习层次代理以逼近训练数据的语义层次结构，为度量学习提供更丰富和更细粒度的监督，并在四个标准基准测试中实现了最好的表现。

Dec, 2022

信息匹配：半监督图像分类的熵神经估计

利用伪监督和一致性正则化的半监督图像分类方法，在最大化增强视图之间的互信息下限时，通过信息熵神经估计利用未标记样本的潜力，从理论上分析出图像分类器的信息熵通过最大化 softmax 预测的似然函数近似估计。在这些见解的指导下，我们从两个角度优化我们的模型，以确保预测的概率分布与真实分布紧密一致，并通过大量实验证明其卓越性能。

Apr, 2024

通过最大间隔集群层级树实现半监督非线性距离度量学习

提出了一种新的非线性度量学习方法，其使用基于迭代、分层的半监督最大间隔聚类的树型算法来构建聚类层级森林，并将众多半随机弱度量层级的输出结合起来，以获得强大而稳健的非线性度量模型。与一些最先进的基准测试结果相比，这种方法的结果相当或优于现有最先进算法，并且对噪声更具稳健性。同时，这种方法具有两个主要贡献：第一，它是半监督的，同时融合了约束点和非约束点的信息；第二，它采用了一种松散的约束满足方法，在不同层次的层级中满足不同子集的约束，从而得到更加稳健的学习算法。

Feb, 2014

学习度量的非参数在线回归

研究在线非参数回归算法，可以学习回归函数平滑的方向；基于回归函数梯度外积矩阵 G，学习 Mahalanobis 度量（可以自适应 G 矩阵的有效秩），同时考虑到 G 的频谱，限制在相同数据序列上的遗憾；作为分析的初步步骤，将 Hazan 和 Megiddo 的非参数在线学习算法扩展，使其能够竞争相对于任意 Mahalanobis 度量计量 Lipschitzness 的函数。

May, 2017

稀疏组合度量学习

本文提出了一种新的度量学习方法，将其框架构建为学习一种稀疏组合的本地判别度量，这种度量可以从训练数据中生成，从而可以自然地推导出全局、多任务和本地的度量学习公式。通过数理分析和实验验证，本方法比现有方法具有更少的参数和更好的可扩展性，从而提高了分类性能。

Apr, 2014

半监督学习中的信息论方法在协变量偏移下的应用

该研究提出了一种用于半监督学习在数据集分布改变的情景下的新方法，基于信息理论，该方法包括了当前流行的熵最小化和伪标签方法，提出了一些新的上界描述其泛化误差情况，其在数据集分布改变的情景下胜过之前提出的方法。

Feb, 2022

指数梯度遇见梯度下降

该研究提出了一种称为 hypentropy 的新的正则化方法，利用这种方法可以统一加法和乘法更新算法。这篇论文还利用了 hypentropy 的谱对应关系（spectral hypentropy method）来导出一族基于矩阵的更新算法，并分析了这些更新算法的应用和性能。

Feb, 2019

密度敏感的半监督推断

本文针对半监督学习方法，提出了一种极小极大框架，通过对基于敏感度量的半监督方法进行控制参数 α 的调整，对未标注数据进行预测。

Apr, 2012

度量嵌入的半监督深度学习

本文提出了一种基于深度度量嵌入的半监督学习算法，利用少量标注数据和无标注数据的相对距离关系约束，得到在欧氏空间内区分力强的分类器，并可用于基于最近邻分类的应用。

Nov, 2016

利用亲和图上随机正则化实现高效分布式半监督学习

该研究介绍了一种可以在并行或分布式设置中利用的计算效率高和随机图正则化技术，以进行深度神经网络的半监督训练，这种技术基于亲和图的合成分区进行随机梯度下降的小批量构建，证明我们的方法可以让基于图表的半监督损失函数分解成目标求和，从而方便可扩展的机器学习模型训练。实证结果显示，相比完全监督情况，当标记数据比例较低时，我们的方法显著提高了分类准确性，并在并行情况下实现了显著的收敛时间加速。

Dec, 2016