Nov, 2023

从图表到图谱：将隐藏空间合并为一体

PDF
TL;DR通过在语义相关的数据集和任务上训练的模型，我们研究了聚合这些潜在空间以创建包含组合信息的统一空间。我们引入了相对潜在空间聚合（Relative Latent Space Aggregation）作为一个两步方法，首先使用相对表示使空间可比较，然后通过简单平均聚合它们。我们把一个分类问题细分为三种不同的设置下的学习任务，并训练每个任务的模型并聚合结果的潜在空间。我们将聚合空间与在所有任务上训练的端到端模型产生的空间进行比较，并表明两个空间是相似的。我们观察到聚合空间更适合于分类，并通过实验证明这是由于任务特定嵌入器遗留在表示中的独特印记。最后，在不存在共享区域的情况下测试我们的框架，并显示它仍然可以用于合并空间，尽管相对于简单合并而言其好处有所降低。
latent spacesrelative latent space aggregationlearning tasksaggregated spacetask-specific embedders
发现论文，激发创造
  • 通过逆向相对投影的潜空间转换

    通过对相对空间的角度保持相对表示的可逆性进行形式化，并假设神经模型中解码器模块的尺度不变性，我们将两种方法结合起来，通过相对空间获得潜在空间转换的新方法。通过在各种架构和数据集上进行大量实验证实了我们的尺度不变性假设，并证明了我们方法在潜在空间转换中的高准确性。我们还将我们的方法应用于任意预训练文本和图像编码器及其分类器之间的零射缝，甚至跨模态。通过组合性，我们的方法具有促进模型实际重用的显著潜力。

    Jun, 2024

  • 语义对齐下的潜在空间翻译

    通过简单的转换，我们的研究展示了神经网络模型中学习到的表示可以在不同的预训练网络之间进行转化，从而有效地连接编码器和解码器，并实现在多模态设置下的出色分类性能。

    Nov, 2023

  • 相对表示使零样本隐空间通信成为可能

    本文主要研究利用神经网络将数据流形的几何结构嵌入到潜在表征中，提出了根据潜在表示中样本与预设锚点之间的相对关系来实现所需不变性的方法，并在不同数据集、不同架构、不同任务下进行了验证。

    Sep, 2022

  • 伟大的模型思考一致：通过模型潜在一致性改善模型可靠性

    本文提出了一种通过测量模型潜在空间与基础模型潜在空间之间的一致性来估计模型可靠性的方法，并设计了一种邻域一致性度量方法，该方法与模型的预测置信度相结合显著提高了模型的可靠性，并在各种数据集上的失败检测实验中验证了该方法的有效性。

    May, 2023

  • 评估深度学习潜在特征空间的稳定性

    高维数据集在各个学科的统计建模中带来了很大的挑战，需要高效的降维方法。深度学习方法通过降维的潜在特征空间从复杂数据中提取关键特征，有着广泛的应用，从生物信息学到地球科学等领域。本研究通过引入一个新的工作流程来评估这些潜在空间的稳定性，确保后续分析的一致性和可靠性。该工作流程囊括了三种稳定性类型：样本稳定性、结构稳定性和推断稳定性，并引入了一套综合评估指标。研究结果揭示了潜在特征空间固有的不稳定性，并证明了该工作流程在量化和解释这些不稳定性方面的功效。这项工作推进了对潜在特征空间的理解，促进了深度学习在各种分析工作流中的模型可解释性和质量控制，为更加明智的决策提供了基础。

    Feb, 2024

  • 基于生成模型中的潜空间插值实现无监督元学习

    本文提出一种基于生成模型的元任务生成方法，称为 LAtent Space Interpolation Unsupervised Meta-learning (LASIUM)，通过从潜在空间中生成分组成群的对象，构建元任务的训练和验证数据，应用于少样本分类任务中的实验表明其性能优于或与当前无监督学习基线相竞争，并且该方法不需要手工调整，扩展性高。

    Jun, 2020

  • 几何丰富的潜空间

    通过将环境空间视为黎曼多维流形，可以利用相关的黎曼度量对领域知识进行编码，通过环境度量的仔细设计我们可以确保最短路径的行为表现良好，实验结果表明，我们的方法可以提高随机和确定性生成器的可解释性。

    Aug, 2020

  • 关于微调自然语言处理模型中潜空间的转换

    本研究通过无监督方法分析表示空间中的潜在概念，并考察了预训练模型和微调后模型间的相似性。结论显示：较高层次的潜在空间向任务特定概念演变，而较低层次则保留了预训练模型获得的通用概念；某些概念向输出类别具有极性，并可用于生成对抗性触发器。

    Oct, 2022

  • 高维潜空间中可靠的散布度量

    本文提出并验证八种数据分布度量方法，相对于现有方法，其中大部分具有改进效果，建议使用一种基于主要成分的度量方法和一种基于熵的度量方法来评估模型的数据分布情况。

    Dec, 2022

  • 基于紧致潜空间聚类的半监督学习

    本文介绍了一种新的成本函数来进行神经网络的半监督学习，该函数通过动态创建一个图形来捕获特征空间中的潜在结构，并使用标签传播来估计其高和低密度区域，最终利用马尔科夫链设计出一种成本函数，以形成每类一个单一的紧凑簇，同时在优化过程中避免扰乱现有的簇，该方法在三个基准测试中表现良好，将基于图形的正则化的优点与高效的归纳推理相结合，不需要修改网络架构，可以轻松应用于现有网络，实现对未标记数据的有效利用。

    Jun, 2018