该研究论文介绍了一种基于隐藏马尔科夫模型来学习词汇表示，并使用大量未标记数据将这些方法更好地适用于不同领域数据的方法。

Dec, 2013

我们提出了一种基于联合矩阵分解的分析工具，用于比较多语言和单语言模型的潜在表示。我们使用这个工具，研究了多语言预训练模型学习的表示中在何种程度上和如何反映了形态句法特征。通过对 33 种语言和 17 种形态句法类别进行大规模实证研究，我们发现不同的形态句法信息在不同层次的编码中存在差异，这些差异受到语言属性的影响。对分解输出进行层次聚类得到了一棵树状结构，与由语言学家手工制作的系统发生关系的系统发生树。此外，我们发现分解输出与不同的跨语言任务中观察到的性能之间存在强关联。我们发布了我们的代码以促进未来的研究。

Oct, 2023

本综述介绍了各种鼓励学习算法发现阶乘表示的约束条件，并将其分为无监督和监督归纳偏置两类。同时，本文呈现了一种基于监督和无监督归纳偏置优势比较的框架，比较了各种与学习阶乘表示问题相关的模型。

Dec, 2016

该研究通过概率隐变量序列模型，使用前向算法实现连续状态 Kalman 滤波器来学习单词的表示。通过 EM 算法准确地优化参数，使用所学习到的单词嵌入作为标记任务的特征，在标记任务中实现显著的准确度改进，并通过线性递归神经网络通过我们的模型的参数来初始化非线性递归神经网络语言模型，降低了其训练时间和困惑度。

Feb, 2015

语言模型利用线性表示假说来执行计算，但我们研究表明某些语言模型的表示可能是固有的多维的。我们开发了一种基于不可约多维特征的严格定义，用于确定这些特征是否能够分解为独立或非共现的低维特征。通过使用稀疏自动编码器自动发现 GPT-2 和 Mistral 7B 中的多维特征，这些自动发现的特征包括具有显著可解释性的例子，例如表示星期和月份的圆形特征。我们确定了使用这些确切圆形特征来解决涉及星期和月份的模块算术计算问题的任务。最后，通过对 Mistral 7B 和 Llama 3 8B 进行干预实验，我们提供了这些圆形特征在这些任务中确实是计算的基本单元的证据，并通过分解这些任务的隐藏状态为可解释的组件，找到了更多的圆形表示。

May, 2024

本文研究了语音感知的分段本质，并提出了一种基于神经隐马尔科夫模型的学习方法，该方法应用于离散的隐变量模型以及自监督学习中，模型中加入了模型变量之间的关联性，从而有效提高了模型的性能。

Oct, 2022

本文提出了一种基于高阶马尔可夫统计的非负矩阵分解的 HMM 学习算法，该算法支持对 HMM 的循环状态数目进行估计，并迭代非负矩阵分解算法以改善学习到的 HMM 参数。

Sep, 2008

本研究重新探讨使用最新的神经模型方法实现隐藏马尔可夫模型（HMM）规模化的挑战，提出了一种方法来快速有效地在大规模状态空间中对 HMM 进行精确推断、紧凑参数化以及有效规范化，取得的实验证明，该方法比之前的 HMM 和 n-gram 方法更准确，为实现最先进的神经模型的性能作出了贡献。

Nov, 2020

采用嵌套的神经语言模型构建的分层框架可以同时学习文档和单词的分布式向量表示，该模型在数据流中取得了有效的结果，并可以通过添加用户层来学习个性化的偏好向量

Jun, 2016

本文提出一种优化跨多模态数据和标签的联合生成 - 判别目标函数的模型，将表示分解为多模态判别和模态特异性生成两组因子，实验结果表明该模型能够学习到有意义的多模态表示，并取得了领先水平的性能。

Jun, 2018