量子嵌入式与变压器是一种新颖且有前景的架构，用于实现在近期设备或模拟器上提供异常能力的量子机器学习。该研究在 BirdCLEF-2021（一个具有挑战性的高维度数据集）上，通过结合视觉变压器（ViT）显著提升了量子嵌入能力，并使得单比特分类器的中值 F1 得分提高了约 3％。该研究展示并分析了实证证据，证明我们基于变压器的架构对于现代量子机器学习问题是一种高度灵活和实用的方法。

Feb, 2024

通过将符号数据嵌入超载空间（或更确切地说是 n 维庞加莱球）来学习符号数据的分层表示的方法，通过实验证明 Poincare 嵌入在具有潜在层次结构的数据上显着优于欧几里得嵌入，无论是在表示能力还是泛化能力方面。

May, 2017

基于视觉转换器作为例子，通过分析和系统实验，我们展示了表示空间由大型分段线性子空间和局部正常空间组成，存在着不同输入具有相同表示和在视觉上难以区分的不同表示的输入。这些经验结果进一步通过基础模型的局部方向估计来验证。因此，得到的表示会改变下游模型的结果，并且这样的模型容易过度泛化且具有有限的迁移能力。

Jan, 2024

本文详细阐述基于 Transformer 架构的预训练嵌入如何用向量因子的总和来重新构造，展示它们在不同应用中成分的影响如何不同，以及微调对于整个嵌入空间的效果，从而与以前的广泛研究建立联系.

Jun, 2022

本文提出了一种基于变分概率框架的深度潜变量模型，使用双语数据，利用拥有共性的语义信息与特性进行训练，使模型可以将并行语句进行源分离，得到隐含的语义向量，进而对单语数据进行预测。实验证明，该方法在无监督语义相似性评估方面的表现明显优于现有方法，并且还能在不适合使用简单词语重叠作为相似性指标的更难评估子集中发挥最大的作用。

Nov, 2019

本文介绍了一种使用 Tensor Train（TT）分解来压缩模型中的嵌入层的新方法，并在自然语言处理的广泛基准测试中评估了其性能与压缩比之间的平衡。

Jan, 2019

介绍了一种适用于高级自然语言处理的句子向量编码框架，该框架可以从编码器 - 解码器模型中提取具有相似向量表示的常见语义信息的句子 latents 表示。我们将句子表示的应用用于两个不同的任务 -- 句子复述和段落摘要，使其适用于常用的循环框架处理文本。实验结果有助于深入了解向量表示适用于高级语言嵌入。

Sep, 2018

该研究通过解迷宫的方式，探究了小型 Transformer 模型的内部行为和结构化内部表示，其中发现了仅通过一个标记的残差流可以线性解码恢复整个迷宫的证据，以及每个标记的学习嵌入具有空间结构，并且通过识别称为 “邻接头” 的注意力头揭示了追踪路径的线路。

Dec, 2023

Transformer language models are explored to understand their mechanics, revealing that intelligent behaviors are mapped as trajectories in an embedding space, with vector composition and organization playing a key role in the model's abilities, including knowledge acquisition and intelligence. A semantic space theory is formalized and tested, providing evidence for the representation of semantic concepts in embedding vectors.

Aug, 2023

该研究在理论上分析了训练好的 Transformer 模型参数的映射关系与对应的词向量，在嵌入空间中进行模型参数解释，从而实现在模型特定细节抽象化的前提下进行模型参数解释，进一步提出了参数对齐和分类器构建两种应用。

Sep, 2022