CoNAL：使用大型语言模型预测异常值
本文介绍了一种利用对比性训练来提高机器学习系统检测异常数据输入的方法，通过引入和使用混淆对数概率得分来量化数据集的内离散度，作者证明了这种方法在 “近 OOD” 类的性能较先前方法有所提高。
Jul, 2020
本文介绍了一种高精度且轻量级的适用于条件语言模型的 OOD 检测方法，并展示了其在抽象摘要和翻译方面的有效性。在分布偏移的情况下，我们的方法可以被用于高质量输出的选择生成，同时自动避免低质量的输出，从而增加自然语言生成模型的安全性。
Sep, 2022
使用 SupCon 训练从训练分布中识别外分布样本是机器学习模型安全部署中的重要问题。我们在这项工作中运用强大的 SupCon 学习表征，并提出了一种全面的方法来学习对 OOD 数据稳健的分类器。我们通过增加两个对比项来扩展 SupCon 损失，第一个项将辅助 OOD 表征与 ID 表征分开，而不对辅助数据的相似性产生任何约束。第二个项将 OOD 特征远离现有类原型，并将 ID 表征推近其对应的类原型。当辅助 OOD 数据不可用时，我们提出了特征混合技术来高效生成伪 OOD 特征。我们的解决方案简单高效，作为闭集监督对比表征学习的自然扩展。我们在常见基准测试中与不同的 OOD 检测方法进行了比较，并展示了最先进的结果。
Oct, 2023
本文提出了一种名为 CoDA 的新型数据增强框架，通过整合多种转换方法，试图解决文本数据增强中的标签保留问题。实验表明，CoDA 架构在多种自然语言理解任务中平均提高了 2.2% 的效果，相较其他基线方法表现更强
Oct, 2020
本文提出了一种新的对比学习框架 CoNT，它从对比示例、对比损失和解码策略三个方面解决了对比学习在生成任务中使用的瓶颈问题，实验结果表明 CoNT 在机器翻译、数据摘要、代码注释生成等十个基准测试中都表现出优异的表现，特别是在摘要生成任务上达到了新的最好结果。
May, 2022
本研究提出了一种名为 CLINE 的方法，该方法使用语义负例构建对抗训练以提高预训练语言模型在面对语义攻击时的鲁棒性，并通过不同语义的比较来有效感知这种攻击所造成的语义变化。实验结果表明，该方法在情感分析、推理和阅读理解任务方面均有显著的改进。
Jul, 2021
应用世界知识通过选择性生成大型语言模型并利用一致性基准不确定性校正方法来提高过分布检测性能，通过从每个图像提取视觉对象充分利用前述世界知识，充分实验证明本方法始终优于现有技术。
Oct, 2023
Retrieval-augmented language models (RALMs) with Chain-of-Noting (CoN) significantly improve the robustness in handling noisy, irrelevant documents and unknown scenarios, outperforming standard RALMs on open-domain QA benchmarks.
Nov, 2023