本文探讨了基于互联网图像和相关文本标签的图像搜索、标签搜索和图像注释等任务，采用典型相关分析（CCA）方法将视觉和文本特征映射到同一隐藏向量空间，在此基础上，引入了表示高级图像语义的第三个视图来训练三个视图的嵌入，并结合多种视觉特征进行训练，实现了高效的嵌入式检索。

Dec, 2012

本研究介绍了如何将先前的知识融入正则化的规范相关分析（CCA）以推导单词嵌入，并在大量数据集上进行了评估。

Sep, 2015

本文提出了一种基于核规范相关分析（KCCA）的标签传播框架，能够构建一个潜在的语义空间来嵌入视觉和文本特征之间的相关性，并在四个数据集上展示了显著的改进。该方法不仅可以处理专家标注的数据集，还可以处理社交媒体上用户自动生成标签的嘈杂数据。

May, 2016

本文提出了一种基于多模态对比目标的句子嵌入学习方法，利用同时包含视觉和文本信息的数据提高了语义相似性任务的性能，并通过分析文本嵌入空间的性质解释了本方法提高性能的原因。

Apr, 2022

本文提出一种共识感知的视觉 - 语义嵌入模型（CVSE），以将共识信息，即图像文字的基础知识，融入到图像 - 文本匹配中，并通过构建概念相关性图来实现共识信息的利用，以及通过实例级表示为两种模态学习图像和文本之间的关联和对准。实验表明，相较于先进的方法，利用共识信息对构建更有意义的视觉 - 语义嵌入具有优越的性能，特别是在双向图像和文本检索任务上。

Jul, 2020

本研究提出了一个名为交互规范相关网络（ICCN）的模型，利用文本、音频和视频的特征之间的相关性来提高多模态情感分析和情感识别的准确性，该模型通过深度规范相关分析（DCCA）来学习所有三种模式之间的关联，并在多个基准数据集中进行了测试。

Nov, 2019

本研究展示了典型相关分析 (CCA) 在发现在双视图设置下捕捉文本数据中的上下文信息的潜在状态方面的潜力，并提出了使用 CCA 执行自动短答案评分任务的模型。经验证实，该模型在实践分析中取得了有竞争力的结果，甚至可以胜过各种先进的监督技术。该模型简单、线性可适应，并应作为基准模型使用，特别是在标注训练数据稀缺或不存在的情况下。

Jun, 2024

本文提出了一种模型，其将图像和相关的口头描述作为输入，并找到两种模态之间的对应关系。使用一对卷积神经网络在单词级别模拟视觉对象和语音信号，并采用嵌入和对准模型将两个网络联系在一起，以学习跨两种模态的联合语义空间，最终在 Flickr8k 数据集上使用图像搜索和注释任务评估了我们的模型。

Nov, 2015

本文提出了一种用于文档表示的复合码稀疏自动编码器（CCSA）方法，以近似最近邻（ANN）搜索为基础。该模型可以替代传统的词袋模型，并可与最近的基于图的 ANN 技术相结合。经实验证明，CCSA 在给定数据集上优于 IVF with product quantization，同时，CCSA 的二进制量化对于基于图的 HNSW 方法的索引大小和内存使用有好处，并保持良好的召回率和 MRR。

Apr, 2022

本文探讨了多模态序列数据的建模技术，提出了一种通用模型，即基于层次结构的序列嵌入模型 (HSE)，该模型将不同模态的序列数据嵌入层次语义空间中，取得了超越现有方法的结果，并在零样本动作识别和视频字幕自动生成等下游任务中取得了更好的效果。

Oct, 2018