Sep, 2022

Rényi 离散度深度相互学习

PDF
TL;DR本文重新审视了一种非常简单却非常有效的计算范例 —— 深度相互学习，并且从一个新颖的角度阐释了 DML 的性能改进。本文提出了一种新的方法 RDML（Rényi Divergence Deep Mutual Learning），证明了 RDML 的优势。
deep mutual learninggeneralization qualityapproximate bayesian posterior samplingrényi divergenceempirical results
发现论文，激发创造
  • 引导式深层度量学习

    本文提出了一种新的由两个独立模型构成的度量学习结构 Guided Deep Metric Learning，通过使用 Few-Shot Learning 的角度来生成一个基于带标签数据的先验知识的减少的假设空间，之后通过离线的知识蒸馏方案来指导或规则化学生模型的决策边界，提高在分布偏移下的一般化，并获得了高达 40% 的 (Recall@1, CIFAR10) 改进。

    Jun, 2022

  • 密度自适应的深度度量学习

    本论文提出将数据的密度测量集成到 DML 的优化框架中，以在端到端的训练过程中自适应平衡类间相似性和类内变异性，通过在三种嵌入方式上增加密度适应性，不断地在三个公共数据集上展示清晰的改善。

    Sep, 2019

  • 深度度量学习中训练策略和泛化性能的重访

    本文通过对深度度量学习算法的客观比较研究，发现了深度度量学习算法饱和度高于文献中表明的水平，并揭示了嵌入空间密度与模型泛化性能之间的相关性，并提出了一种简单有效的训练正则化方法来提高基于排名的深度度量学习模型的性能。

    Feb, 2020

  • 多源适应与 Renyi 散度

    通过 Renyi 离散度的概念，本文对多源适配的一般问题进行了新颖的理论研究，扩大了之前的多源损失保证的范围，并分析了多种情况，包括未知目标分布和标注函数不同的情况，通过实验表明基于 Renyi 离散度的保证的性能优越。

    May, 2012

  • 基于脑启发的分布式记忆学习，用于高效特征无关的无监督域自适应

    通过分布式记忆学习机制，利用神经网络以及强化记忆的方式，提出了一种新的无梯度的快速领域适应机制，称为分布式记忆学习（DML），在跨域场景中以显著的性能提升和时间优化为特点。

    Feb, 2024

  • 自适应密度判别度量学习

    本文针对之前的距离度量学习算法中存在的一些问题，提出了一种通过分布模型在表示空间中自适应评估相似性，并通过惩罚类别分布重叠实现局部判别的新方法，在多项任务上取得了最新的分类结果，并提高了所学表示的属性集中度和层次恢复能力。

    Nov, 2015

  • 半监督度量学习：深度复苏

    本文研究了面向深度学习的半监督度量学习，提出了基于随机和图的方法，通过传播标记数据对的相似度来挖掘度量学习的三元组约束，并施加正交性约束以避免模型萎缩。

    May, 2021

  • 去噪多相似度公式：鲁棒性度量学习的自适应计划驱动方法

    本文提出了基于自适应采样的均衡自适应度量学习（BSPML）算法，该算法采用去噪多相似度计算，并将噪声样本作为极其困难的样本，并根据样本权重自适应删除样本以提高模型的稳健性和泛化能力。

    Nov, 2022

  • 深度关系度量学习

    本文提出了一种深度关系度量学习（DRML）框架，用于图像聚类和检索。该方法采用可自适应学习的特征集合来建模类内和类间分布，并使用关系模块和图建模在图像上进行关系推理，得到一种关系感知嵌入来测量相似性，从而有效提高了当前深度度量学习方法的效果。

    Aug, 2021

  • Rényi 分歧变分推断

    本文介绍了变分 Renyi 界限 (VR)，它将传统的变分推理扩展到了 Renyi 的 Alpha - 散度。这种新型的变分方法统一了许多现有方法，并且通过参数化散度的 Alpha 值，实现了从证据下限到对数（边际）似然的平滑插值。采用重参数化技巧、蒙特卡罗近似和随机优化方法，获得了一个可行和统一的优化框架。我们进一步考虑了负 Alpha 值，并在所提出的框架的一个新的特殊情况下提出了一种新的变分推理方法。在贝叶斯神经网络和变分自编码器上的实验证明了 VR 界限的广泛适用性。

    Feb, 2016