我们提出了一种基于最简单的张量网络（即张量列）的新型张量网络语言模型，称为 'Tensor Train Language Model'（TTLM）。通过将单词的张量积构建成指数空间，TTLM 表示句子，但以低维度方式计算句子的概率。我们证明了第二阶 RNN、递归算术电路（RACs）和乘积积分 RNN 的架构本质上是 TTLM 的特殊情况。对真实语言建模任务的实验评估表明，TTLM 的各种变体（即 TTLM-Large 和 TTLM-Tiny）优于具有低规模隐层单元的传统递归神经网络（RNNs）。

May, 2024

通过构建语言任务空间，借助相似性探测与梯度差分的微调方法，研究发现大型语言模型更好地泛化到语言任务的总体概念，利用其共享结构。此外，预训练通过加强相关语言任务之间的参数共享来增加语言处理的分布性。整体泛化模式在训练过程中基本稳定且没有明显分界点，这可能解释了语言模型缺乏成功的课程策略的原因。

Jun, 2024

本文提出了一种新的语言模型，通过序列组合树来取代之前基于线性链的假设，消除了结构上的任何假设，利用对比熵作为评估度量标准对新模型进行评估，相较于以往基于递归神经网络的模型，在失真级别上获得了超过 100% 的改进。

Apr, 2016

本文研究了表示及物动词语义的三阶张量的学习，使用了基于张量的语义框架，并使用神经网络的标准技术学习张量，并在简单的二维句子空间上进行了选择偏好式任务的测试，并与竞争性基于语料库的基线进行比较，结果有希望，扩展这项工作超越及物动词，并针对更高维的句子空间，是机器学习社区需要考虑的有趣和具有挑战性的问题。

Dec, 2013

本文提出了通过张量分解方法学习广义线性模型的混合模型参数的方法，通过对输入进行特征转换以及使用得分函数张量和响应变量的交叉相关计算可以得到正确的参数估计，且其计算和样本复杂度是输入和潜在维度的低阶多项式。

Dec, 2014

本研究提出一种基于张量列分解的方法，将每个令牌嵌入视为可在分布式方式下有效计算的矩阵乘积状态，从而实现对令牌嵌入层的压缩，可达到高达 38.40 倍的压缩比，并在 3.31 倍的压缩因子下甚至比原始 GPT-2 模型效果更好。

Jul, 2023

介绍了一种基于混合线性建模和子空间聚类技术的自适应、多尺度张量分解方法，旨在降低大型和多模态数据的维度和表示复杂度。该方法在多个真实张量信号的维数约简和分类问题中表现良好。

Apr, 2017

概念空间理论是一种有影响力的认知语言框架，用于表示概念的意义。通过挖掘大型语言模型（LLM）学习概念空间的潜力，研究发现 BERT 家族的精细调整模型能与甚至胜过最大的 GPT-3 模型，尽管体积要小 2 到 3 个数量级。

Oct, 2023

我们介绍了一种名为 “基于词汇定义的语义” 的开创性方法，它在语言模型（LMs）的潜空间中建立了一个固定的参考框架，确保了在 LM 词汇基础上的绝对语义分析。通过广泛的实验，我们的方法超越了检索增强生成和参数有效微调的最先进方法，展示了它的功效和广泛适用性。

Jan, 2024

提出了一种基于张量嵌入的新逻辑编程语言 T-PRISM，并介绍了其逻辑编程部分和数值计算部分。该编程语言能够从符号推理到深度学习提供非常广泛的高级声明建模，同时结合了张量嵌入和逻辑编程的最小模型语义。该论文还在使用 FB15k 和 WN18 数据集的知识图上推出了 DistMult 模型。

Jan, 2019