本文提出了一种 COntrastive Real-Time eXplanation (CoRTX) 框架，通过设计一种合成策略在模型解释任务中进行对比学习，从而解决了实用中训练模型解释的难题。实验结果在三个真实数据集上证明了该框架的高效性和有效性。

Mar, 2023

本文探索使用对比学习方法提高 BERT 模型的文本表现力，并通过数据增强中的唯一对比预训练步骤来定制化关系提取任务集成语言学知识，研究外部知识库构建的大规模数据如何增强对比预训练的一般性，证明方法可以改进模型表示并实现最先进性能。

Apr, 2021

CODER++ 使用动态难样本在对比学习中提供细粒度的表示，从而在生物医学术语聚类方面取得更好的效果，应用于 BIOS 的生物医学概念聚类中。

Apr, 2022

本文提出了 UCTopic，一种使用无监督对比学习框架来学习上下文感知短语表示和进行主题挖掘，通过正对构建来预训练 UCTopic，使用聚类辅助对比学习 (CCL) 显着降低噪声负例，进一步提高了短语表示的类别学习效果，在实体聚类任务上优于现有的同类模型。

Feb, 2022

通过对比学习和知识图谱嵌入的结合，尝试提高意大利医学领域中可用的词嵌入，从而提高医学术语之间的语义相似性，并获得了比起始模型显著的性能提升。

Nov, 2022

本研究介绍了 BioCPT，这是一种针对零样本生物医学信息检索的 Contrastively Pre-trained Transformer 模型，它使用了 2.55 亿条用户点击日志进行对比学习，并在五项生物医学信息检索任务中优于其他基线和大型模型。

Jul, 2023

本文提出了一种基于节点的对比学习方法 NC-KGE，通过在知识图谱上构建适当的对比节点对来提升嵌入和加速训练收敛，并通过加入关系感知注意机制对生物医药关系预测任务进行了改进，实验证明 NC-KGE 在公共数据集和生物医药数据集上具有竞争力并且在预测药物组合关系方面优于其他模型。

Oct, 2023

我们在本研究中探讨了大型语言模型在补充生物医学知识图谱中的潜力，通过利用 UMLS 知识图谱和先进的大型语言模型，我们提出了一种新的先进方法，通过改进的对比学习阶段、新颖的自蒸馏阶段和权重平均化阶段，获得了生物医学概念和句子的高保真度表示。通过对 BioLORD 测试套件的严格评估和多样化的下游任务，我们证明了与以往先进技术相比的一致且显著的性能改进（例如，在 MedSTS 上提高了 2 点，在 MedNLI-S 上提高了 2.5 点，在 EHR-Rel-B 上提高了 6.1 点）。除了我们的新型英文生物医学模型外，我们还蒸馏并发布了与 50 多种语言兼容并在 7 种欧洲语言上进行了微调的多语言模型。我们最新的模型可以使许多临床流程受益，开启了生物医学语义表示学习在多种语言中发展的新途径，为全球的生物信息学研究人员提供了宝贵的工具。因此，我们希望看到 BioLORD-2023 成为未来生物医学应用的宝贵工具。

Nov, 2023

本文提出了一种基于图的对比学习方法，使用生成的正负样本和原型来改善学习文档主题表示和潜在主题。通过对几个基准数据集的实验，证明了该方法在主题连贯性和文档表示学习方面的有效性。

Jul, 2023

本论文提出了 RECO 模型，该模型通过外部记忆检索获取精细化知识，应用于现有视觉文本模型中，并在 Stanford Cars、CUB-2011 和 OVEN benchmark 等多项任务中取得了显著性能提升。

Jun, 2023