我们提出了一种从自回归语言模型中提取含义表示的方法，通过考虑扩展输入文本的所有可能轨迹的分布来实现。这种策略是无提示的，不需要微调，并且适用于任何预训练的自回归模型。此外，与基于向量的表示不同，基于分布的表示还可以通过使用似然函数之间的代数运算来建模非对称关系（例如，逻辑蕴含的方向，上位词 / 下位词关系）。这些思想扎根于语义上的分布观点，并与自动机理论中的标准构造相连接，但据我们所知，它们尚未应用于现代语言模型。我们通过实验证明，从大型模型获得的表示与人类注释相匹配，比其他零样本和无提示方法在语义相似性任务上表现更好，并且可以用于解决标准嵌入不能处理的更复杂的蕴含和包含任务。最后，我们将我们的方法扩展到使用多模态自回归模型表示来自不同模态（例如，图像和文本）的数据。

Oct, 2023

基于一种概率模型，研究了嵌入学习在离散数据中的可学习性，并提出了一种用于估计的低秩近似消息传递方法，探讨了样本数量、词项频率和嵌入相关性对概率分布的影响。通过对合成数据和真实文本数据的模拟验证了理论研究的可行性。

Dec, 2023

本文研究了基于深度自回归 Transformer 模型在语言建模和语音识别中的应用，探索了配置 Transformer 模型进行语言建模的方法和深度 Transformer 语言模型是否需要位置编码，证明了深度 Transformer 语言模型可以自动利用序列中的位置信息，并能在语音识别模型中得到应用。

May, 2019

本文旨在通过强制使用自动编码器并引入改进的语义哈希技术，从序列模型中提取更好的表示，以提高其在语言建模和机器翻译等任务中的表现，并展示了该技术在生成多元化翻译方面的应用。

Jan, 2018

提供了一种解决自回归模型的架构限制的简单方法，即 “回声嵌入”，通过在上下文中重复输入并从第二次出现中提取嵌入，使得提前的标记嵌入能够包含后面的标记的信息，从而最大程度地利用高质量 LLMs 进行嵌入。在 MTEB 榜单上，回声嵌入在零 - shot 情况下改进了超过 9％，细调时改进了约 0.7％。用 Mistral-7B 模型的回声嵌入相较于之前没有利用合成调优数据的开源模型达到了最新技术水平。

Feb, 2024

为了生成连贯的回应，语言模型从输入文本序列中推断未观察到的含义。本研究通过测试序列模型重建未观察到动态系统的能力，发现每个序列层可以学习到该系统的可行嵌入。然而，状态空间模型比变压器具有更强的归纳偏差，尤其是它们在初始化阶段更有效地重建未观察到的信息，从而实现更高效的模型和较低的动力学任务错误率。因此，本研究通过延迟嵌入理论在动态系统和深度学习序列模型之间建立了一种新颖的关联。

Jun, 2024

利用大型语言模型将嵌入向量转化为可理解的叙述，解决了嵌入向量难于解释和使用的问题，增强了概念激活向量、通信新的嵌入实体和解码推荐系统用户偏好等任务的能力。

Oct, 2023

该研究探讨了大型语言模型（LLMs）中嵌入的信息编码，并发现与模型大小存在幂律关系的表示熵。基于此观察，提出了一个基于（条件）熵的理论以阐明该缩放定律现象。此外，通过使用信息论和回归技术，研究 LLMs 的自回归结构，并检查最后一个标记与前文标记之间的关系。具体地，我们建立了新标记的信息增益与岭回归之间的理论联系。此外，我们还探索了 Lasso 回归在选择有意义的标记方面的有效性，有时优于相关的注意力权重。最后，通过进行对比实验，发现信息分布在各个标记中，而不仅仅集中在特定的 “有意义” 标记中。

Feb, 2024

本研究提出了一种基于 LSTM 的自回归语言模型，使用预训练的掩码语言模型的前缀嵌入（通过融合，例如串联）来获得更丰富的上下文表示来进行语言建模，发现融合有助于可靠地降低复杂度，最后还讨论了这种方法在其他领域的推广。

Aug, 2022

我们提出了一种新颖的神经自回归主题模型，利用语言建模方式中单词周围的完整上下文信息进行学习，同时将嵌入作为分布式先验知识引入模型，这两个扩展可以处理短文本情况并提高主题模型的一般性、可解释性和适用性。

Sep, 2018