通过对比损失的简单调优，句子编码器的性能可以得到显著提高。本文理论上和实验上展示出，在对比学习过程中模型获得了怎样的特征，即基于信息论的数量对词汇进行隐式加权。本文还使用多种模型、多个数据集、两种度量模型隐式加权的方法（集成渐变法和 SHAP）以及两个信息论数量（信息增益和自信息量）进行了全面实验。结果提供了对对比调优强调信息丰富词汇的经验证据。
Oct, 2023
使用可表征语法和语义规律的定义句类别训练变分自编码器，并在多个测试中展现其成功解耦表示效果，以及在定义建模中得到的改善。
Sep, 2022
使用大型预训练 Transformer 模型进行迁移学习任务已经成为自然语言处理（NLP）领域的主要趋势之一，本论文提出了一种三阶段技术来调整基础模型以适应分类任务。
May, 2024
提出了一个新的基于对比学习的方法 ——SimCTG，和一个解码方法 —— 对比搜索，用于提高文本生成质量。在两种语言的三个基准测试上，我们的方法在人类和自动评估指标方面均显著优于当前最先进的文本生成方法。
Feb, 2022
本文提出了一种基于对比学习的多粒度对齐的跨语言预训练模型 VECO~2.0，将序列到序列对齐和标记到标记对齐相结合，以支持跨语言模型预训练，通过在 XTREME 基准上的实验证明了该方法的有效性。
Apr, 2023
通过短语重构提出一种新的生成式自监督学习方法，其产生的句子表示在句子文本相似性方面表现与对比式方法相当。
Apr, 2022
本文提出使用对比学习的方法，通过自我指导来改善 BERT 的句子表示质量，并将其应用于句子表示学习中。实验证明，与竞争对手的基线相比，我们的方法在广泛的句子相关任务上更加有效，并且在推理时效率高且鲁棒性强。
Jun, 2021
该研究提出了一个新的任务 —— 跨语言定义生成（TLDG），并发现 fine-tuning 多语言机器翻译模型时方法被显著优化，并得到了更高质量的跨语言定义生成。
Jun, 2023
使用 InfoNCE 系列的 feedforward 模型通过隐式反转观察数据的基础生成模型来实现使学习到的表示方法适用于大量下游任务的目标，这种理论强调了对比学习，生成建模和非线性独立成分分析之间的基本联系，为推导出更有效的对比损失提供了理论基础。
Feb, 2021
在阅读理解的背景下，我们提出了一种无监督的分心生成框架，利用大型语言模型作为经济高效的注释器来增强较小学生模型的分心生成能力。实验证明，我们提出的无监督生成方法大大超越了 GPT-3.5-turbo 的性能，而参数只有后者的 200 倍少。我们的无监督分心生成方法为实际阅读理解应用提供了一种经济高效的框架，无需费力的分心注释和昂贵的大型模型。
Jun, 2024