提出了一种名为 Deep Multimodal Clustering 的无监督音频视觉学习模型，采用不同共享空间的多模态矢量的卷积映射集，进行多音频视觉对应关系的捕捉和精细对应学习，并通过最大间隔损失进行有效训练。通过实验，该模型可以学习到有效的单模态表示，并在声音定位、多源检测和音频视觉理解方面显示出显著的性能。

Jul, 2018

使用 S-DCCA 算法构建跨模态音乐视频检索模型，其中采用基于 Attention 机制 LSTM 模型选择 top k 音频块，使得得到的局部音频摘要能够很好地代表整个音频内容，构建的深度学习模型实现了音频和视频语义的跨模态学习，从而实现了跨模态情感相似的音乐视频检索，并在构造的 10K 数据集上得到了良好的 MAP 和 precision-recall 表现。

Aug, 2019

该研究通过自监督的时间同步学习模型实现音频和视频分析的目的，模型能够在没有微调的情况下有效地识别出时序同步的音频 - 视频配对，并提供了一种非常有效的初始化方式以改善基于视频的动作识别模型的准确性。

Jun, 2018

本研究在音乐 / 视频跨模态推荐方面采用自监督学习范式，并利用预训练的 MuSimNet，OpenL3，MusicCNN 或 AudioSet 等音频嵌入来大幅改善推荐效果。其中，通过跨模态三元组损失进行学习比通常自监督学习采用的二元交叉熵损失具有更好的效果，验证了 VM-NET 的有效性。

Apr, 2021

本文介绍了一种名为 CrossVideo 的新方法，旨在增强点云视频理解领域的自监督跨模态对比学习。通过利用点云视频和图像视频之间的跨模态关系获取有意义的特征表示，我们提出了一种自监督学习方法来解决数据稀缺和标签获取困难的问题。通过使用单模态和跨模态对比学习技术，我们实现了对点云视频的有效理解，并提出了一种适用于两种模态的多层对比方法。通过广泛的实验证明，我们的方法明显超过了先前的最先进方法，并进行了全面的消融研究来验证我们提出的设计的有效性。

Jan, 2024

本文提出了一个自监督训练框架，通过在训练管道中增加多模态聚类步骤以捕捉跨模态的语义相似性，进而学习一个共同的多模态嵌入空间，并证明其能在文本到视频检索和时间动作定位等两个具有挑战性的领域展示出四个不同数据集上的最新成果.

Apr, 2021

CrissCross 是一种自监督学习框架，用于学习音频和视觉之间的表示，它还可以学习异步交叉模态关系，通过在多项下游任务方面的表现显示其有效性，并在 Kinetics-Sound 数据集上实现了优于或不逊于当前自监督方法的表现，同时也提供了经过预训练的模型。

Nov, 2021

文中介绍了一种自监督学习方法，通过交叉模态辨别视频和音频来学习视听表征，其采用对比学习方法来进行。该方法通过优化交叉模态辨别而非内部模态辨别，可以学习到来自视频和音频的良好表征，并可于行动识别任务中获得高竞争性能。同时，文中提到该方法采用交叉模态协同度量相似性，构造更好的正负样本集合，从而实现了对可视相似度的校准。

Apr, 2020

本文介绍了一种利用两种不同形式的信息进行自监督表示学习的方法。我们使用视频数据进行我们的方法，得到良好的性能，并证明我们的特征表示可以转移至其他任务。

Nov, 2018

提出了一种无监督聚类框架，使用深度神经网络进行端到端的学习，从而直接对图像进行聚类分配，同时通过自我监督任务来获得更有意义的图像特征表示，实验结果表明，该方法在六个具有挑战性的基准测试中取得了优异的成果。

Dec, 2019