多视角表示学习中的重叠与纯化问题得到了深入分析，提出了一种创新的多视角表示学习框架，结合了一种名为 “distilled disentangling” 的技术，通过引入遮蔽交叉视角预测的概念，实现了从多种数据源中提取紧凑、高质量的视角一致的表示，进一步减少了与视角特定表示的冗余，提升了学习过程的整体效率。

Mar, 2024

本文提出了一种多视角文档表示学习框架，通过生成多个视图嵌入来表示文档，并通过全局 - 局部 loss 函数来防止多视图嵌入坍塌到同一个嵌入中，实现了稳定性的匹配，在密集检索方面取得了最新的成果。

Mar, 2022

使用双编码器模型，在相同的密集向量空间中对实体和提及进行编码，并通过近似最近邻搜索检索候选实体，从而实现实体链接。通过使用维基百科中的锚文本链接训练双编码器，该方法优于离散别名表和 BM25 基线，并且与标准 TACKBP-2010 数据集中最佳结果相当，还可以快速检索候选者，并可以很好地推广到从 Wikinews 推导出的新数据集。在建模方面，我们演示了无监督的负采矿算法在这一任务中的重要作用。

Sep, 2019

该研究提出了一种新方法，称为多视图实体表示（MuVER），旨在提高实体检索的性能，通过启发式搜索方法构造实体描述的多视图表示，并通过这种方式提高候选实体的质量。该方法在 ZESHEL 上取得了最新的性能，并在三个标准实体链接数据集上改善了候选者的质量。

Sep, 2021

提出了一种跨模态关注蒸馏框架来训练双编码器模型，以用于视觉语言理解任务，如视觉推理和视觉问答，并证明使用这种框架可以在保持比融合编码器模型更快的推理速度的同时实现竞争性的性能表现。

Dec, 2021

本文提出了一种多距离嵌入模型 (MDE)，通过使用独立的嵌入向量训练和预测矛盾的距离项，解决了翻译嵌入模型的对称关系和反射模式的限制问题，允许建模具有（反）对称性、倒置和组合模式的关系。

May, 2019

该研究旨在构建一种基于视角知识蒸馏（VKD）的模型，通过在 teacher-student 框架下将多种视角信息作为监督信号进行主动学习，从 Video-To-Video 到 Image-To-Video，显著提高了人、动物、车辆重识别的性能。

Jul, 2020

本文提出了一种新型的多阶段深度多视图聚类框架，引入多视图自我蒸馏（DistilMVC）来提取标签分布的暗知识，从而消除过度自信的伪标签的影响，提高模型的泛化能力，并通过对比学习来探索多个视图的常见语义，通过最大化视图之间的互信息来获得伪标签，同时通过教师网络将伪标签蒸馏为暗知识，提升学生网络的预测能力，实验结果表明，与现有方法相比，我们的方法在真实多视图数据集上具有更好的聚类性能。

Oct, 2023

本论文提出了一种基于结构化知识蒸馏的框架，旨在提高现代视觉仅 BEV 检测模型的效率，并在 nuScenes 基准测试上表现出显著的优越性，平均改善 2.16mAP 和 2.27NDS。

Nov, 2022

本文中，我们提出了一个简单的基线方法，使用不对称架构来提高 Dual Encoder 检索器的效率。我们发现即使使用只有两层的 BERT-based 查询编码器，通过无监督的蒸馏和适当的学生初始化，仍然可以在 BEIR 基准测试中保持 92.5％的 DE 性能。我们希望我们的研究可以鼓励社区重新评估方法复杂性和性能提升之间的权衡。

Jun, 2023