本文研究了距离度量学习 (Distance Metric Learning，DML) 损失函数对用于分类任务的语言模型有监督微调的影响。在实验中，我们使用 SentEval Transfer Tasks 数据集，发现使用 DML 损失函数可以在少样本情况下提高 RoBERTa-large 模型在下游分类任务中的性能，使用 SoftTriple 损失微调的模型可以比使用标准分类交叉熵损失函数的模型取得更好的结果。同时，我们使用可解释性技术对模型的可靠性和结果进行了全面分析。

Nov, 2022

使用 proxy 点的三元组损失函数能够更快速地优化距离度量学习，提高零样本学习数据集的精度至多 15％，且比其他三元组损失函数的收敛速度块 3 倍。

Mar, 2017

本文提出了一种新的 DML 方法，该方法同时学习骨干网络参数、嵌入空间和每个训练类别在该空间中的多模态分布，通过单一的端到端训练过程优于现有最优方法，不仅在标准的精细化数据集上，而且在少样本目标检测问题上也取得最佳结果，并在基于 ImageNet 的情景基准下提供了一个新的少样本目标检测任务。

Jun, 2018

本文针对之前的距离度量学习算法中存在的一些问题，提出了一种通过分布模型在表示空间中自适应评估相似性，并通过惩罚类别分布重叠实现局部判别的新方法，在多项任务上取得了最新的分类结果，并提高了所学表示的属性集中度和层次恢复能力。

Nov, 2015

本文提出了一种基于 Soft Orthogonality (简称 SO) 的新方法来解决深度度量学习 (DML) 中代理点出现的问题，并结合数据高效的图像变换器 (DeiT) 作为编码器提取图片的上下文特征，以数据集检索等实验结果表明该方法在超越现有技术的同时，还具有更高的可靠性和实用性

Jun, 2023

本论文提出将数据的密度测量集成到 DML 的优化框架中，以在端到端的训练过程中自适应平衡类间相似性和类内变异性，通过在三种嵌入方式上增加密度适应性，不断地在三个公共数据集上展示清晰的改善。

Sep, 2019

本文提出了一种新的由两个独立模型构成的度量学习结构 Guided Deep Metric Learning，通过使用 Few-Shot Learning 的角度来生成一个基于带标签数据的先验知识的减少的假设空间，之后通过离线的知识蒸馏方案来指导或规则化学生模型的决策边界，提高在分布偏移下的一般化，并获得了高达 40% 的 (Recall@1, CIFAR10) 改进。

Jun, 2022

提出了一种自适应度量学习方法，该方法能够从元训练任务中获得一组评估度量，并自动确定最佳加权组合，以捕捉自然语言领域中新的 few-shot 任务的复杂任务变化。在真实情感分析和对话意图分类数据集上进行了广泛的定量评估，结果表明所提出的方法在预测准确性方面表现优于现有的 few shot learning 算法。

May, 2018

深度度量学习的一篇研究论文通过使用替代方法，建立了一个组合模型，引入电场物理学的启发，将潜在作用场作用在不同类别图像嵌入之间的交互上，并在实际数据集中实现了优异的性能。

May, 2024

本文提出了一种基于对比学习的新的 few-shot learning 框架，通过预训练语言模型解决视觉特征与文本嵌入之间的对齐问题，并引入度量模块来实现余弦相似度的泛化，通过双层优化结构中的 MAML 训练模型以提高可迁移性，此外，在多个基准测试上进行了大量实验证明我们方法的有效性。

Jul, 2023