介绍一种新的基于长文本语境下的对比学习模型 ConTRoL，该模型具有一定难度，能够检测语境推理中的各种类型，并且在测试中结果表明该模型比自然语言处理的最先进模型表现得更好，同时还可进行事实正确性验证任务。

Nov, 2020

SherLIiC 是一个词汇推理上下文测试平台，由包含 3985 个手动注释的推理规则候选项（InfCands），包括～960k 未标记的 InfCands 和～190k 从大型实体链接语料库 ClueWeb09 中提取的 Freebase 实体间的类型文本关系。该平台对现有自然语言推理系统构成了颇具挑战性的考验。

Jun, 2019

我们提出了一种简单但有效的方法来将任务上下文化为特定的大语言模型，通过观察给定的大语言模型如何描述目标数据集，聚合大语言模型的开放式推理结果，并最终将聚合的元信息纳入实际任务中，我们展示了这种方法在文本聚类任务中的有效性，并通过上述过程的示例突出了上下文化的重要性。

Jun, 2024

通过对一些最先进的 VLM（Visual Language Model）进行分析，我们发现它们在执行 ICL（In-Context Learning）指令时存在一定的不足。为了验证这个猜想，我们提出了一种简单但令人惊讶地有效的策略，通过扩展一个常见的 VLM 对齐框架，实现 ICL 支持、方法和课程设置。我们探讨、分析并提供了对有效数据混合的见解，从而显著提升了 21.03% 的 ICL 表现（平均 11.3%），超过了最强 VLM 基线和多种 ICL 基准，并为 VLM 的 ICL 评估贡献了新的基准，并讨论了它们相对于现有技术的优势。

Mar, 2024

本文概述了大型语言模型的新范式 —— 上下文学习，并探讨了训练策略和演示设计策略等高级技术，以及上下文学习所面临的挑战和未来方向。

Dec, 2022

基于多模式大型语言模型和大型语言模型，提出了一种新颖的上下文学习方法（In-Context Learning），通过加强因果关系，引导模型识别类比和数据点间的潜在因果关联，使模型能够识别未见过的图像和理解新概念更有效。

Aug, 2023

本研究介绍了一种新方法，将语法纳入自然语言推理（NLI）模型中。我们使用预训练的依存解析器中的上下文令牌级向量表示来实现此方法，并使用四个强 NLI 模型（可分解的注意力模型、ESIM、BERT 和 MT-DNN）进行实验，在三个 NLI 基准测试中表现出了一致的精度提高。

Sep, 2019

本文提出了一种多级有监督对比学习框架 MultiSCL，该框架使用句子级和对级对比学习目标，在低资源自然语言推理任务中区分不同分类的句对。MultiSCL 采用数据增强模块和交叉注意力模块来获取对级表示，经实验证明，在低资源设置中，MultiSCL 的准确率比其他模型平均高 3.1％，且在文本分类的跨域任务中优于以前的最新方法。

May, 2022

利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

Sep, 2023

本文提出一种基于对偶句子级别的监督对比学习（PairSCL）方法，采用交叉注意力机制学习句子对的联合表示，并使用对比学习目标来区分不同类别的句子对，在两个公共 NLI 数据集上，PairSCL 的准确性平均优于其他方法 2.1％，并在文本分类的七个转移任务上超过了先前的最新方法。

Jan, 2022