Mar, 2023

ContraSim -- 基于对比学习的相似度衡量

PDF
TL;DR本研究提出了一种基于对比学习的相似度度量方法 ContraSim，相较于传统的相似度度量方法，应用于语言和视觉模型的多语言以及图片 - 文字配对测试中都表现出更高的准确率。
neural networksimilarity measurecontrastive learningbenchmarkparameterized measure
发现论文，激发创造
  • 多相似性对比学习

    基于多个相似性度量的新型多相似性对比损失（MSCon）提供了在不同相似关系下学习可推广嵌入的方法，通过自动学习对应相似性的对比权重，降低不确定任务的影响，从而在内部和外部领域中优于最先进的基准模型。

    Jul, 2023

  • ContraGen：用于因果语言模型的有效对比学习

    本文提出了一种名为 ContraGen 的对比学习框架，用于解决语言生成过程中的表示限制问题，该框架可以显著提高表征的均匀性和区分性，改善语言理解和源代码生成的表现。

    Oct, 2022

  • DreamSim：使用合成数据学习人类视觉相似性的新维度

    本文提出了一个全新的知觉度量标准 DreamSim，通过人类相似度判断数据集的研究得出，该标准可以全面评估图片的相似性，更关注于前景物体和语义内容及对颜色和布局敏感，并且具有很好的一般性能。

    Jun, 2023

  • 重新审视相似性和不相似性在最佳反驳论点检索中的作用

    本文提出了一种基于 Bert 的新模型 Bipolar-encoder，通过相似度和不相似度度量来评分反驳论证，并通过实验证明了其比传统方法和最近的神经评分模型更加有效和高效。

    Apr, 2023

  • 对比估计方法揭示线性模型中主题后验信息

    本文探讨了对比学习在文档分类中的应用。与传统方法相比，利用对比学习方法能更好的学习到文档的表征，并通过实验证明线性分类器利用这些表示能提高文档分类的准确性。

    Mar, 2020

  • 对比代码表示学习

    本文介绍了应对在自然语言生成中源代码编辑的二义性问题的解决方案 ——ContraCode，通过对许多非等价程序的功能相似变体进行对比预训练的方式来实现源代码功能性的学习，并在 JavaScript 总结和 TypeScript 类型推断准确性上取得了较大的提升。

    Jul, 2020

  • 连锁原型对比学习

    本研究提出了一种简单而有效的对比学习框架来解决 Contrastive Self-supervised Learning (CSL) 中样本不足问题，将同一个输入的不同视角拉近，不同输入的视角推远，提高了视觉表征的质量，并在 ImageNet-1K 数据集上表现出了超越完全监督训练版本的性能。

    Aug, 2022

  • 蒸馏模型中的对比学习

    使用 SimCSE 论文中的适用对比学习方法，将基于知识蒸馏模型 DistilBERT 的模型架构进行调整，以解决自然语言处理模型在语义文本相似度上效果不佳且过大无法部署为轻量级边缘应用的问题，最终得到的轻量级模型 DistilFace 在 STS 任务的 Spearmans 相关性上达到了 72.1，相比 BERT Base 提升了 34.2％。

    Jan, 2024

  • LipSim：一个可证明鲁棒的感知相似度度量

    该研究论文通过对基于 ViT 的特征提取器集合的先进感知相似度度量的鲁棒性进行敏感性分析，提出了名为 LipSim（Lipschitz 相似度度量）的可靠感知相似度度量方法，并通过一系列实验证明了 LipSim 在自然分数、认证分数和图像检索应用方面的性能。

    Oct, 2023

  • 文本摘要的序列级对比学习

    本文提出了一种对比学习模型，用于文本摘要的有监督抽象，通过将文档、其黄金摘要和模型生成的摘要视为同一平均表示的不同视图，并在训练过程中最大化它们之间的相似性，从而改进了强序列到序列的文本生成模型（即 BART）。人类评估也显示，我们的模型与没有对比目标的对应模型相比，实现了更好的忠实度评分。

    Sep, 2021