May, 2023

通过 ICA 发现嵌入中的通用几何形状

PDF
TL;DR本研究采用独立分量分析技术来揭示单词或图像嵌入的通用规律。研究表明，嵌入可以表示为几个轴的组合，这些语义轴在不同的语言、模态和嵌入算法中一致存在。这一发现有助于模型解释能力的提高，可能促进高度可解释模型的发展和大规模模型的压缩。
发现论文，激发创造
  • 探索使用 ICA 的内部和外部语言一致性嵌入

    利用自由职业键功能鉴定多语种语义轴的一致性。

    Jun, 2024

  • 词嵌入独立分量代表语义特征

    本文使用独立分量分析算法分析单词嵌入，发现独立分量可以用于找到单词的语义特征，并可轻松组合这些特征来搜索满足条件的单词，其中稳定性强。

    Dec, 2022

  • 通过标准化的 ICA 转换嵌入重新审视余弦相似度

    本研究提出一种新的解释，将余弦相似度解释为在独立成分分析转换的嵌入空间中的语义相似度之和，通过实验证明了归一化的 ICA 转换后的嵌入具有稀疏性，可以增强可解释性，并利用理想嵌入进行检索实验验证了该解释的有效性。

    Jun, 2024

  • 轴游览：字游览决定 ICA 转换嵌入中的轴顺序

    通过最大化语义连续性，我们的研究提出了一种新颖的方法，即 Axis Tour，用于优化词嵌入空间中轴的排序，并通过实验验证了其构建更好的低维嵌入。

    Jan, 2024

  • 利用特征词嵌入编码先验知识

    本研究介绍了如何将先前的知识融入正则化的规范相关分析（CCA）以推导单词嵌入，并在大量数据集上进行了评估。

    Sep, 2015

  • 关于单词嵌入空间的维度语言特征

    本文对词嵌入进行了主成分分析，并提出了许多新颖且反直观的观察。研究人员进一步说明了方差解释率作为下游任务性能的代理效用，并通过对主嵌入空间的句法探测来展示主成分所捕捉的句法信息与其解释方差的数量不相关，从而调查了基于方差的嵌入后处理的局限性，并证明这种后处理在句子分类和机器翻译任务中是产生反效果的。最后，本文提供了一些关于应用基于方差的嵌入后处理的预防性准则，并解释了非各向同性几何可能是词嵌入性能的一部分的原因。

    Oct, 2019

  • 用于建模互联网图像、标签及其语义的多视图嵌入空间

    本文探讨了基于互联网图像和相关文本标签的图像搜索、标签搜索和图像注释等任务，采用典型相关分析（CCA）方法将视觉和文本特征映射到同一隐藏向量空间，在此基础上，引入了表示高级图像语义的第三个视图来训练三个视图的嵌入，并结合多种视觉特征进行训练，实现了高效的嵌入式检索。

    Dec, 2012

  • 嵌入式技术中可解释透明的偏差控制

    使用可解释和透明的方法来控制知识图谱嵌入中的偏见，以评估和减少受保护信息的隐含存在。

    Oct, 2023

  • 一种使用预先训练的自编码器进行跨语言语言转换的简单几何方法

    本文研究了在多语言训练中的强大的语句编码器，探讨了是否可以通过几何映射来间接地操纵语言属性，并用预训练的多语言自编码器验证了该方法的有效性。

    Apr, 2021

  • 方程式嵌入

    本文介绍了一种无监督学习的方法来发现数学方程的语义表示，称之为方程嵌入。该方法使用周围单词的表示来发现方程的好的表示方法，并用于分析四个计算机科学领域的科学文章中的 98.5k 个方程。结果表明，方程嵌入提供了更好的模型，并能够捕捉方程与单词之间的语义相似性。

    Mar, 2018