深度神经网络的表示距离学习

Nov, 2015

Representational Distance Learning for Deep Neural Networks

Patrick McClure, Nikolaus Kriegeskorte

TL;DR该研究提出了一种称为 “代表空间距离学习” 的方法，该方法可用于将一种深度神经网络模型学习到的内部表现空间应用到另一种模型之中，通过该方法可将学生模型的表现空间序列逐步拟合为更接近于教师模型表现空间的序列。通过将学生模型的表现空间逐渐接近于教师模型的表现空间，使用该方法可以显著提高可视化分类性能。未来该方法可以应用于将深度神经网络的任务约束和生物大脑的约束相结合，从而构建出可以复制生物大脑内部表现空间的深度神经网络模型。

Abstract

Deep neural networks (dnns) provide useful models of visual representational transformations. We present a method that enables a DNN (student) to learn from the internal representational spaces of a reference mod

dnns representational spaces transfer learning rdms visual classification

发现论文，激发创造

基于图形的深度几何知识蒸馏

本文探讨了相对知识蒸馏涉及到潜在空间中的几何，引入一种基于图的方案，有效地从大型神经网络导出知识并传递到小型网络中，提高了性能表现和精度。

Nov, 2019

关系深度学习：关系数据库上的图表示学习

关系数据库中的数据存储方式使得使用机器学习模型变得具有挑战性和耗时，通过引入关系深度学习（RDL）方法，我们可以直接学习跨多个表格布置的数据，而无需进行手动特征工程。关系深度学习通过自动学习图引导，从而提取利用所有输入数据的表示，从而构建更准确的模型且速度更快。

Dec, 2023

图神经网络表示知识蒸馏

通过对比实验，本文提出了一种新的基于图像对比度表示蒸馏的知识蒸馏方法，用于提高资源有效的图神经网络的表现，该方法通过保留全局拓扑结构与对比学习使轻量级图神经网络的性能和稳健性得到了提高。

Nov, 2021

深度关系度量学习

本文提出了一种深度关系度量学习（DRML）框架，用于图像聚类和检索。该方法采用可自适应学习的特征集合来建模类内和类间分布，并使用关系模块和图建模在图像上进行关系推理，得到一种关系感知嵌入来测量相似性，从而有效提高了当前深度度量学习方法的效果。

Aug, 2021

无监督条件下理解深度神经网络中概念的分布表示

本文提出了一种新的无监督方法，通过选择主要的神经元子集来发现概念的分布式表示，该方法可以用于识别数据中的未标记子类，并检测错误分类的原因，同时还揭示了不同层次的深度学习模型内部机制的深入洞察。

Dec, 2023

RdimKD: 通过降维进行通用蒸馏范式

这篇研究提出了一种新的知识蒸馏范式，称为维度降低知识蒸馏（RdimKD），通过使用一个投影矩阵将大网络和小网络的特征图投影到低维子空间，并在训练过程中进行优化，既保证学生从老师获取有价值信息，又灵活适应学生的低容量实际情况。实证研究表明 RdimKD 在各种学习任务和不同网络架构中具有有效性。

Dec, 2023

关系建模与蒸馏用于带噪声标签的学习

通过自我监督学习建模样本之间的关系，并采用知识蒸馏的方法增强对潜在关联的理解，从而缓解模糊标签的影响，该研究提出了一个处理噪声标签的关系建模和蒸馏框架，该框架能够学习具有噪声的数据的判别性表示，并取得比现有方法更优越的性能。

May, 2024

深度关系学习建模内容与语境

本文介绍 DRaiL，一个开源的声明式框架，用于指定深度关系模型，旨在支持各种自然语言处理场景，并支持与表达性语言编码器的轻松集成，以及研究表示、推理和学习之间的相互作用。

Oct, 2020

自适应密度判别度量学习

本文针对之前的距离度量学习算法中存在的一些问题，提出了一种通过分布模型在表示空间中自适应评估相似性，并通过惩罚类别分布重叠实现局部判别的新方法，在多项任务上取得了最新的分类结果，并提高了所学表示的属性集中度和层次恢复能力。

Nov, 2015

密度自适应的深度度量学习

本论文提出将数据的密度测量集成到 DML 的优化框架中，以在端到端的训练过程中自适应平衡类间相似性和类内变异性，通过在三种嵌入方式上增加密度适应性，不断地在三个公共数据集上展示清晰的改善。

Sep, 2019