通过使用符号引擎，本研究探讨了在潜空间中逼近多个数学运算的可能性，引入了不同的多运算表示范式，将数学运算建模为明确的几何变换，实现了 1.7M 个推导步骤的大规模数据集，分析了每个范式在与先进的神经编码器实例化时的特性，发现多运算范式对于区分不同的运算符是至关重要的，而对于单一运算的结论可以在原始表达式编码器中实现。此外，我们还展示了架构选择如何显著影响空间的训练动态、结构组织和泛化能力，导致不同范式和编码器类别之间存在显著变化。

Nov, 2023

通过在语义相关的数据集和任务上训练的模型，我们研究了聚合这些潜在空间以创建包含组合信息的统一空间。我们引入了相对潜在空间聚合（Relative Latent Space Aggregation）作为一个两步方法，首先使用相对表示使空间可比较，然后通过简单平均聚合它们。我们把一个分类问题细分为三种不同的设置下的学习任务，并训练每个任务的模型并聚合结果的潜在空间。我们将聚合空间与在所有任务上训练的端到端模型产生的空间进行比较，并表明两个空间是相似的。我们观察到聚合空间更适合于分类，并通过实验证明这是由于任务特定嵌入器遗留在表示中的独特印记。最后，在不存在共享区域的情况下测试我们的框架，并显示它仍然可以用于合并空间，尽管相对于简单合并而言其好处有所降低。

Nov, 2023

通过使用自组织映射 (SOM) 可视化深度学习模型生成的高维潜空间，我们提出了一种基于自监督学习的方法，通过对老年病人的长期脑部磁共振成像进行高维可解释性表达，实现了对脑龄分层的有效研究，并在临床操作中取得了可比较或更高的准确性。

Sep, 2023

高维数据集在各个学科的统计建模中带来了很大的挑战，需要高效的降维方法。深度学习方法通过降维的潜在特征空间从复杂数据中提取关键特征，有着广泛的应用，从生物信息学到地球科学等领域。本研究通过引入一个新的工作流程来评估这些潜在空间的稳定性，确保后续分析的一致性和可靠性。该工作流程囊括了三种稳定性类型：样本稳定性、结构稳定性和推断稳定性，并引入了一套综合评估指标。研究结果揭示了潜在特征空间固有的不稳定性，并证明了该工作流程在量化和解释这些不稳定性方面的功效。这项工作推进了对潜在特征空间的理解，促进了深度学习在各种分析工作流中的模型可解释性和质量控制，为更加明智的决策提供了基础。

Feb, 2024

将光谱几何原理融入神经建模中，提出一个多功能框架，通过在功能域中比较不同空间，测量其内在相似性，找到它们之间的对应关系，并有效地在不同空间之间转移表示，从而在各种应用中验证了我们的框架，展示了潜在的功能映射可以作为表示对齐的多功能工具。

Jun, 2024

我们介绍了一种名为 “基于词汇定义的语义” 的开创性方法，它在语言模型（LMs）的潜空间中建立了一个固定的参考框架，确保了在 LM 词汇基础上的绝对语义分析。通过广泛的实验，我们的方法超越了检索增强生成和参数有效微调的最先进方法，展示了它的功效和广泛适用性。

Jan, 2024

本文探讨了生成对抗网络中聚类的问题，并从多模态潜在空间的角度提出了新的解决方案，该方案通过可调节的先验和所需聚类先验的影响来实现聚类。我们证明了所有组件的重要性，并提出了一种使用稀疏监控的多模态潜在空间的过程来便于学习聚类先验。

May, 2020

我们提出一种自监督方法，用于学习基于物理的子空间进行实时模拟。通过近似预定义的模拟数据以纯几何方式构建子空间的现有基于学习的方法。然而，这种方法倾向于产生高能量配置，导致了纠缠的潜空间维度，并且在训练集之外的泛化能力较差。为了克服这些限制，我们提出了一种自监督方法，在训练期间直接最小化系统的机械能。我们证明了我们的方法导致了学习到反映物理平衡约束的子空间，解决了先前方法的过拟合问题，并提供可解释的潜空间参数。

Apr, 2024

通过简单的转换，我们的研究展示了神经网络模型中学习到的表示可以在不同的预训练网络之间进行转化，从而有效地连接编码器和解码器，并实现在多模态设置下的出色分类性能。

Nov, 2023

通过对相对空间的角度保持相对表示的可逆性进行形式化，并假设神经模型中解码器模块的尺度不变性，我们将两种方法结合起来，通过相对空间获得潜在空间转换的新方法。通过在各种架构和数据集上进行大量实验证实了我们的尺度不变性假设，并证明了我们方法在潜在空间转换中的高准确性。我们还将我们的方法应用于任意预训练文本和图像编码器及其分类器之间的零射缝，甚至跨模态。通过组合性，我们的方法具有促进模型实际重用的显著潜力。

Jun, 2024