神经网络表示中的聚类探测
本文研究深度神经网络的正则化机制，提出其通过提取类别样本的有意义聚类来实现隐含的正则化，证明这种聚类测度可以准确预测不同超参变化下的泛化性能。
Mar, 2021
该研究通过对深度神经网络的训练动态、神经元和层级表示的广泛实证研究，尝试辨别深度学习系统中隐含的聚类能力、机制和超参数，评估它们对解释这些系统的泛化能力的相关性，从而阐述了先验知识在机器学习设计中的重要性。
Mar, 2022
研究表明，在预先训练的神经网络中，一个给定层中的许多神经元之间存在一定程度的冗余，因此可能不需要整个层来执行下游任务，这为提高下游任务的效率和减少数据成本提供了可能。
May, 2023
本篇论文讨论了如何用神经网络学习更好的特征表达，提出了两种新的损失函数，在循环神经网络和卷积神经网络上验证了该方法能够显著提升 KMeans 聚类效果（用 AMI 衡量）并且胜过之前的方法。
May, 2017
提出了一种获得分层神经网络的分层模块化表示的方法，该方法使用层次聚类方法将训练网络应用于 Feature Vectors，以便根据它们与输入和输出维度值的相关性定义隐藏层单元之间的树状关系。
Oct, 2018
本研究调查神经网络表示与人类认知表示之间对齐的因素，发现模型规模和架构对齐性没有实质性影响，而训练数据集和目标函数对齐性有更大的影响。研究发现，神经网络表示的线性转换有助于提高与人类相似性判断的一致性，但规模和多样性更大的数据集训练的模型也不能满足人类认知表示的需求。
Nov, 2022
本研究探讨使用半监督学习方法在训练集中加入未标记的新类图片，以提高表示学习在搜索新类别图片时的效率，并提出了一种新的评估方法来评估基于半监督学习方法的表示学习，在语义差异较大时，相比于传统监督学习，基于半监督学习的表示学习可以在搜索新类别图片时取得更好的效果。
Aug, 2022
本研究探讨了在深度学习中通过将关系和感觉信息分隔，以及引入归纳偏差来改善系统的推理性能，并提出了基于相似性分数的简单架构 -- Compositional Relational Network (CoRelNet), 增强了模型的鲁棒性，提高了关系计算的分布外泛化能力。
Jun, 2022
本文提出了一种新的无监督方法，通过选择主要的神经元子集来发现概念的分布式表示，该方法可以用于识别数据中的未标记子类，并检测错误分类的原因，同时还揭示了不同层次的深度学习模型内部机制的深入洞察。
Dec, 2023