提出了一种新的 NLP 注释范例，通过创建对照集，意在消除测试数据中的系统性差距，从而更准确地评估模型的真实语言能力。创建 10 个多样化的 NLP 数据集的对照集并将其作为新的评估基准发布。

Apr, 2020

本文介绍了一种新方法，利用语义输入表示生成对比集，以减少注释成本并评估模型在各种语义方面的性能，同时还可以应用于训练集以提高模型鲁棒性。

Mar, 2021

在自然语言推理领域中，交叉熵损失度量被广泛应用于多输入文本分类任务，但该度量方式在有效评估模型理解语义蕴涵能力方面存在不足。本研究引入一种创新技术，通过自动替换动词、副词和形容词的近义词来产生斯坦福自然语言推理数据集的对比集，以评估模型表现是否基于真实语言理解还是仅仅基于模式识别。研究使用 ELECTRA-small 模型进行分析，模型在常规的自然语言推理数据集上达到 89.9% 的准确率，但在对比集上准确率降低到了 72.5%，下降了 17%。由此结果导致我们对模型的学习行为进行了详细考察，然后通过针对自然语言推理数据集的对比增强训练数据集对模型进行微调，将其准确率提升到了 85.5%。我们的研究结果强调了在自然语言推理任务中加入多样化的语言表达的重要性，希望能促进创建更包容的数据集，从而推动更为复杂和有效的自然语言推理模型的发展。

Apr, 2024

本文提出一种自适应多对比学习策略，用于视觉表示学习，实现了零样本场景转换和真实世界的部署。实验证明，该方法在航空器视觉导航领域的性能超过了所有其他基线模型。

Sep, 2023

本研究旨在从自然语言文本中获取信息，进而训练机器人进行各种日常生活任务。我们通过探索一系列最重要的问题，来提出一种有效的机器人控制学习方法，该方法结合了分层控制、多模态变换编码器、离散潜在计划和自监督对比损失。同时，我们使用所提出的方法，成功地在机器人 CALVIN 基准测试中，超越了现有研究成果。

Apr, 2022

该论文提出了一个从多个视角捕捉的无标注视频演示中学习视觉表示的框架，优化了最近提出的自监督学习算法，应用对比学习来增强与任务相关的信息和抑制特征嵌入中的无关信息，验证了所提出的方法在模拟几种机器人任务，包括 pick and place 任务中的应用，评估了学习表示的三个指标：视点对齐，阶段分类和强化学习，在所有情况下，结果都表明与现有方法相比，该方法水平更高，而且训练轮数更少。

Jan, 2022

机器人学中的评估与模拟环境之间的控制和视觉差异是可靠的模拟评估的关键挑战，在创建适用于常见真实机器人设置的 SIMPLER 模拟环境的基础上，我们证明了在这些环境中的政策表现与真实世界中的表现之间的强相关性，同时准确反映了真实世界的政策行为模式，通过我们的工作流以及开源的 SIMPLER 环境，促进了通用操作策略和模拟评估框架的研究。

May, 2024

本文提出了一种语言学驱动的转换（LIT）方法，用于自动生成对比集，以探索感兴趣的语言现象以及组成不同现象。在对 SNLI 和 MNLI 进行实验中，使用我们的方法发现当前预训练语言模型虽然被认为包含足够的语言知识，但他们在我们自动生成的对比集上表现不佳。此外，通过将 LIT 应用于扩充训练数据，可以提高模型在对比集上的表现，并且不会影响原始数据的性能。

Oct, 2020

本文研究利用发展集进行早期停止与仅基于发展语言调整训练时长的两种低资源自然语言处理方法，其对于模型性能的影响，结果表明实验设置的合理性对于准确性有着至关重要的作用。

Sep, 2019

本研究通过语言条件机器人操作来提高算法在适应不熟悉环境中的泛化能力。在模拟环境和真实世界中的测试中，实验证明该方法的平均完成任务长度比 HULC 方法提高多达 2.5 倍，并且在真实世界的测试中也取得了相当好的表现。

May, 2023