在图表征学习中，提出了一种新的分层对比学习 (Hierarchical Contrastive Learning, 简称 HCL) 框架，采用自适应的 L2Pool 方法进行更合理的多尺度图形拓扑构建，并采用多通道伪孪生网络来进一步扩展各级别内的互信息学习，以获得更丰富和更具层次感的表示。通过实验，HCL 在节点分类、节点聚类和图分类等 12 个数据集上均取得了具有竞争力的性能表现，并且通过可视化显示，HCL 成功捕捉到了图的有意义特征。

Oct, 2022

本文提出了用层级感知的注意力机制改进 CLIP 模型，以更好的捕捉图像和文本的高层语义，并在视觉识别和与视觉相关的下游任务中获得良好的结果。

Mar, 2023

本文提出了一种基于对比学习的层次化关系抽取框架（HiCLRE），该框架结合全局结构信息和局部微粒度交互以减少噪声句子，并在不同的 DSRE 数据集中均显著优于强基准模型，其中包括了远程监督、关系抽取、多粒度重上下文化和对抗扰动等关键词。

Feb, 2022

本文提出了一种将层级结构直接嵌入文本编码器的层次引导对比学习（HGCLR）方法，通过此方法，将正样本进行层次指导，以学习生成具备层次感知的文本表示，在三个基准数据集上的实验证明了 HGCLR 的有效性。

Mar, 2022

该论文介绍了一种高效的方法，将超网络与对比学习结合起来，以计算条件化的句子表示，通过在不同条件下将同一句子嵌入投影到不同的空间，从而展示了计算效率。

Mar, 2024

本文探讨了代码序列中层次结构对令牌的影响，并将其抽象为代码令牌的一个属性。我们提出了一种简单但有效的模型 HiT，将完整的层次结构嵌入源代码序列。实验证明，层次嵌入可用于学习代码结构，并在多个数据集上的分类和生成任务中显示出 HiT 性能的稳定训练效率。

Mar, 2023

本文介绍 DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations，是一种无监督的学习通用语句嵌入的方法，其优于仅仅使用大规模数据集。该方法扩展了基于 Transformer 的语言模型的预训练，可以在大量的未标注培训数据下达到可监管培训的质量水平，这个解决方案可以应用于没有标注数据的语言和领域。该研究的代码和预训练模型是公开的，可以轻松地适应新的领域或用于嵌入以前不见过的文本。

Jun, 2020

本文提出了一种基于遮盖的分层聚类对比学习模型（MHCCL），该模型利用多个潜在分区的分层结构中获得的语义信息用于多元时间序列的表示学习，通过新颖的向下遮罩策略过滤假负面、补充正面，进一步结合了聚类层次结构的多粒度信息，设计了新颖的向上遮罩策略以优化聚类元数据。实验结果表明，MHCCL 模型在七个广泛使用的时间序列数据集上比现有的无监督时间序列表示学习方法表现更卓越。

Dec, 2022

在任务导向的对话场景中，跨领域零样本槽填充在利用源领域知识学习高泛化能力模型的同时，在未标注数据的未知目标领域中起到至关重要的作用。然而，现有最先进的零样本槽填充方法在目标领域中的泛化能力有限，只对已见槽显示有效的知识转移，在未见槽上表现不佳。为了缓解这一问题，我们提出了一种新颖的分层对比学习框架（HiCL）用于零样本槽填充。具体而言，我们提出了一种基于高斯分布嵌入的粗细粒度对比学习方法，以学习语句标记之间的广义深层语义关系，通过优化之间和之内的标记分布距离。这促使 HiCL 在训练阶段泛化到未见的槽类型上。此外，我们提出了一种新的迭代标签集语义推断方法，可以不偏不倚地分别评估在先前的零样本槽填充评估方法中与它们的对应槽类型相纠缠的未见槽类型的性能。对四个数据集的广泛经验性实验证明，所提出的方法的性能与当前最先进的零样本槽填充方法相当甚至更好。

Oct, 2023

提出了一种新的学习范式 —— 提示增强的上下文学习（Hint-enhanced In-Context Learning，HICL），通过从示范中提取与查询相关的知识，以更明确的方式提示大型语言模型（LLM），用于开放域问答，从而提高性能。

Nov, 2023