该研究介绍了一种新的学习语言模型的方法，通过训练模型估计词 - 上下文点间互信息（PMI），并通过 PMI 在测试时求出所需的条件概率。

Jul, 2017

本研究介绍了如何将先前的知识融入正则化的规范相关分析（CCA）以推导单词嵌入，并在大量数据集上进行了评估。

Sep, 2015

本文提出了一种新的生成模型，将先验用于计算词汇统计量的闭合形式表达式，从而为非线性模型提供了理论上的证明，并帮助解释了低维度语义嵌入中线性代数结构的存在，以及解决了词汇类比问题。

Feb, 2015

提出了一种生成词嵌入模型，可用于更复杂的潜在因素模型，推理基于低秩迹近似和区块回归，具有概率解释性和数据保持特性。

Aug, 2015

使用预训练语言模型（PLMs）生成的句子嵌入引起了自然语言处理界的广泛关注，因为它们在多种下游应用中以优越的性能表示文本。然而，当在内存或计算受限设备中表示大量句子时，由 PLMs 生成的句子嵌入的高维度会带来问题。作为解决方案，我们评估了无监督的降维方法来降低由 PLMs 生成的句子嵌入的维度。我们的实验结果表明，如主成分分析（PCA）等简单方法可以将句子嵌入的维度降低近 50%，而不会在多个下游任务中造成显著性能损失。令人惊讶的是，在某些任务中，进一步降低维度可以提高某些 PLMs 生成的句子嵌入的性能。

Mar, 2024

本文介绍了基于规范相关分析（CCA）方法的神经网络表示比较方法，并提出了一种相似度指数来测量表示相似性矩阵之间的关系，该指数与中心核对齐（CKA）密切相关，但不受高维表示限制，具有可靠性。与 CCA 不同，CKA 方法可在不同初始化的网络表示中可靠地识别对应关系。

May, 2019

探索多个观测随机向量之间的潜在共变性的经典统计方法 —— 典型相关分析 (CCA) 以及其扩展和变化在发现多视图数据集中的共同随机因素方面的能力。该研究设计了一种新颖高效的模型，适用于典型相关分析的深度扩展，并克服了现有方法的局限性，将私有组件建模为在给定共同组件的条件下条件独立，从而提供了一种更紧凑的表述形式。通过合成数据和实际数据的实验验证了我们的结论和方法的有效性。

Dec, 2023

本文介绍了三种新的概率规范相关分析的半参数扩展，并考虑了这些模型估计的矩匹配技术。通过将新模型与独立分量分析的离散版本（DICA）之间的显式联系画出，并进一步使用与独立分量分析的密切联系介绍广义协方差矩阵，以改善样本复杂度并显著简化推导和算法。

Feb, 2016

提出一种新的基于加权方差协方差矩阵的双谱分解方法，旨在在具有加权和 / 或缺失数据问题的情况下，检索给定数量的正交主成分，该方法通过将主成分拟合到数据并进行分解，从而检索主系数。通过在实际情况和模拟情况下进行测试，结果表明该方法能够在数据集中识别最显著的模式，并且可以使用此方法将 Sloan Digital Sky Survey 类星体光谱从测量波长外推至更短和更长波长。同时该算法的实现速度快且灵活。

Dec, 2014

研究表明，基于单词嵌入的相似性度量方法在无监督语义文本相似性（STS）任务中正在与更复杂的深度学习和专家设计的系统轻松竞争。通过将一个单词嵌入视为标量随机变量的例如 300 个观测值，我们避免了传统的几何方法，使用于基本汇集运算和经典相关系数得到的相似性效果很好，胜过许多最近的方法，同时速度更快且实现容易。此外，研究认为通过重新生成核希尔伯特空间之间的相关算子，可以避免汇集运算并直接比较词嵌入集。正如余弦相似性用于比较单个单词向量一样，我们介绍了中心核对齐（CKA）的一种新颖应用，作为平方余弦相似性的集合的自然推广。同样，CKA 非常易于实现，并享有非常强的实证结果。

Oct, 2019