Jan, 2024

视觉转换器嵌入空间的引人注目的等效结构

PDF
TL;DR基于视觉转换器作为例子，通过分析和系统实验，我们展示了表示空间由大型分段线性子空间和局部正常空间组成，存在着不同输入具有相同表示和在视觉上难以区分的不同表示的输入。这些经验结果进一步通过基础模型的局部方向估计来验证。因此，得到的表示会改变下游模型的结果，并且这样的模型容易过度泛化且具有有限的迁移能力。
pre-trained large foundation modelsartificial intelligencerepresentation spacevisually indistinguishable inputslipschitz constants
发现论文，激发创造
  • 在类别嵌入空间中分析视觉 Transformer 用于图像分类

    利用我们提出的方法，可以反向工程训练用于解决图像分类任务的 Vision Transformers，并投影到学习的类别嵌入空间以揭示网络建立预测的分类表示的过程。该方法还展示了图像令牌如何根据注意力机制和上下文信息发展类别特定的表示，以及自注意力和 MLP 层在此分类组合中的差异性贡献。我们的研究结果表明，我们提出的框架在机械解释性和可解释性研究中具有强大的功能。

    Oct, 2023

  • 视觉 - 语言变换模型的零射击和系统评估之间的有趣差异

    基于一种新的梯度下降优化方法，本文探索了一个常用的视觉 - 语言模型的嵌入空间，通过 Imagenette 数据集的实验结果表明，尽管该模型达到了超过 99% 的零样本分类性能，但在系统性评估中却完全失败，使用线性近似说明了这些显著差异，并提出了一种可检测修改图像的强大方法。

    Feb, 2024

  • 大型 Transformer 模型的隐藏表示的几何学

    研究表明，transformers 在蛋白质语言任务和图像重建任务中的表示以非常相似的方式演化，从而呈现出数据流形在隐藏层中的几何和统计特性，而数据流形的语义结构在第一阶段触发。基于这些观察结果，建议使用内在维度作为无监督代理，以确定下游学习任务更合适的层次。

    Feb, 2023

  • 如何解剖木偶：Transformer 嵌入空间的结构

    本文详细阐述基于 Transformer 架构的预训练嵌入如何用向量因子的总和来重新构造，展示它们在不同应用中成分的影响如何不同，以及微调对于整个嵌入空间的效果，从而与以前的广泛研究建立联系.

    Jun, 2022

  • 嵌入空间中的 Transformer 分析

    该研究在理论上分析了训练好的 Transformer 模型参数的映射关系与对应的词向量，在嵌入空间中进行模型参数解释，从而实现在模型特定细节抽象化的前提下进行模型参数解释，进一步提出了参数对齐和分类器构建两种应用。

    Sep, 2022

  • 利用低维参数子空间表示输入变换

    通过子空间可配置网络探讨模型权重最适合为参数化的连续转换低维线性子空间的配置假设，为解决输入转换和最优模型权重之间的基本关系提供了一种新的方法。

    May, 2023

  • 所有路都通罗马？探究 Transformers 表征的不变性

    研究了 transformer models 中关于 representation 的可靠性问题，提出了双射假设和一种基于可逆神经网络的模型 BERT-INN，用来更有效地对齐不同模型的 representation spaces

    May, 2023

  • 视觉 Transformer 中的社会偏见的多维分析

    图像模型的嵌入空间已经被证明可以编码一系列的社会偏见，该研究调查了对于视觉转换器（ViT）中出现这些偏见的具体因素，并测量了训练数据、模型架构和训练目标对 ViTs 学习表示中的社会偏见的影响。研究结果表明，基于反事实增强训练的扩散式图像编辑可以缓解偏见，但并不能完全消除；而且，相较于小模型，我们发现大模型的偏见较少，并且使用辨别目标进行训练的模型比使用生成目标进行训练的模型偏见较少。此外，我们观察到学习到的社会偏见存在不一致性，令人惊讶的是，当使用不同的自监督目标在相同数据集上训练时，ViTs 可能表现出相反的偏见。我们的发现揭示了导致社会偏见出现的因素，并提出了基于模型设计选择可以实现相当大程度的公平改善。

    Aug, 2023

  • 通过线性结构探测研究变压器句子嵌入的语义子空间

    以语义结构探测为方法，对来自不同家族（仅编码器、仅解码器、编码解码器）和大小的语言模型进行实验，评估其在语义文本相似度和自然语言推理方面的性能和层次动态，发现模型家族在性能和层次动态上存在显著差异，但结果大部分与模型大小无关。

    Oct, 2023

  • 分析 Transformer 动力学作为嵌入空间中的移动

    Transformer language models are explored to understand their mechanics, revealing that intelligent behaviors are mapped as trajectories in an embedding space, with vector composition and organization playing a key role in the model's abilities, including knowledge acquisition and intelligence. A semantic space theory is formalized and tested, providing evidence for the representation of semantic concepts in embedding vectors.

    Aug, 2023