Dec, 2023

k - 分布：使用局部邻域分析评估深度神经网络的潜空间

PDF
TL;DR在这篇论文中，作者介绍了一种名为 k * 分布的方法，用于捕获神经网络的学习潜在空间中不同类别的样本分布特征和结构，以便更深入地理解现有的可视化结果。研究揭示了学习潜在空间子集中样本分布的三种不同情况：a) 断裂型，b) 重叠型，c) 聚类型。同时，作者还说明了该分析方法可应用于不同神经网络架构、神经网络中的不同层、输入样本的变换以及神经网络的训练和测试数据分布的探索。这一方法有望促进对神经网络的更有针对性的研究。
neural networkslatent spacek* distributionsample distributionsvisualizations
发现论文，激发创造
  • 评估深度学习潜在特征空间的稳定性

    高维数据集在各个学科的统计建模中带来了很大的挑战，需要高效的降维方法。深度学习方法通过降维的潜在特征空间从复杂数据中提取关键特征，有着广泛的应用，从生物信息学到地球科学等领域。本研究通过引入一个新的工作流程来评估这些潜在空间的稳定性，确保后续分析的一致性和可靠性。该工作流程囊括了三种稳定性类型：样本稳定性、结构稳定性和推断稳定性，并引入了一套综合评估指标。研究结果揭示了潜在特征空间固有的不稳定性，并证明了该工作流程在量化和解释这些不稳定性方面的功效。这项工作推进了对潜在特征空间的理解，促进了深度学习在各种分析工作流中的模型可解释性和质量控制，为更加明智的决策提供了基础。

    Feb, 2024

  • 在连续空间上学习条件分布

    研究的主题是在多维单位盒子上基于样本的学习条件分布，采用聚类方法，在特征空间中的变化查询点附近聚类数据来创建目标空间的经验度量。聚类方案包括基于固定半径球和最近邻的方法，通过收敛速率的上界确定最佳的半径和邻居数量。通过在实践中进行经验分析，我们的建议是将最近邻方法结合到神经网络训练中，因为它在实践中的性能更好。训练过程利用随机二进制空间划分进行近似最近邻搜索以提高效率。另外，我们使用 Sinkhorn 算法和稀疏强制传输计划。经验研究结果表明，通过适当设计结构，神经网络能够在局部适应适当的 Lipschitz 连续性水平。用于可复现性的代码可在 https://github.com/zcheng-a/LCD_kNN 找到。

    Jun, 2024

  • 关于视觉识别网络设计空间的研究

    本研究提出了分布估计的新的比较神经网络架构方法，揭示了最新神经架构搜索设计空间变体之间的显著统计差异，并发现标准模型家族的设计空间可以与最近神经架构搜索工作中使用的更复杂的设计空间可以相媲美，以期为发现更好的视觉识别网络提供更健壮的进展。

    May, 2019

  • 朝向适合 K 均值算法的空间：同时进行深度学习与聚类

    本文提出了一种利用深度神经网络实现联合降维和 K-means 聚类的方法，通过学习非线性函数的深度神经网络，以期获得更好的聚类和降维效果。

    Oct, 2016

  • 潜空间分布对带多个注释的图像分割的影响

    本文提出了广义概率 U-Net，该模型通过允许更一般形式的高斯分布作为潜变量分布来扩展概率 U-Net，以更好地近似参考分割中的不确定性。作者研究了潜空间分布选择对于捕获肺肿瘤和脑白质高信号区域参考分割变化的影响。结果显示：分布的选择会影响预测的样本多样性和其与参考分割的重叠度。作者已经在指定网址上提供了实现代码。

    Apr, 2023

  • 高维潜空间中可靠的散布度量

    本文提出并验证八种数据分布度量方法，相对于现有方法，其中大部分具有改进效果，建议使用一种基于主要成分的度量方法和一种基于熵的度量方法来评估模型的数据分布情况。

    Dec, 2022

  • 在高维空间中桥接分布学习与图像聚类

    通过利用自动编码器将图像编码为高维潜空间，并使用 Monte-Carlo 边缘化和 Kullback-Leibler 散度损失来拟合 Gaussian Mixture Models (GMM) 的高斯成分和学习数据分布，从而实现图像聚类，并展示在高维空间中，相比于经典的 Expectation-Maximization (EM) 算法，MCMarg 和 KL 散度能够极大地缓解聚类算法面临的困难，实验证明了分布学习在利用 GMM 进行高维图像聚类方面的潜力。

    Aug, 2023

  • 核 t 分布随机邻域嵌入

    本文介绍了 t-SNE 算法的核化版本，能够将高维数据映射到低维空间并在非欧几里德度量下保留数据点之间的成对距离，可以通过仅在高维空间或在两个空间中使用核技巧来实现，提供了数据点之间关系的新视角，改进了包括使用核方法的分类问题的性能和准确性，并利用多个数据集阐明了 t-SNE 和其核化版本之间的区别，展示了不同类别点的更整洁的聚类。

    Jul, 2023

  • 医学影像中确定性不确定性量化的潜密度分割模型的研究与改进

    通过在医学图像分割中鼓励一个均匀的潜在空间，可以显著提高潜在密度建模的效果。

    Jul, 2023

  • 深度神经网络的核均衡方程

    在本文中，我们研究了深度神经网络对数据集分布进行估计的问题，并发现估计结果的不稳定性取决于数据密度和训练时长，通过推导出的核平衡方程，我们得到了解释不稳定性和尺度机制的现象学描述。该网络以数据集的局部平均作为预测，并根据方程确定平均的尺度，该尺度在训练过程中逐渐减小，导致了我们所研究的问题的不稳定性。

    Sep, 2023