通过研究两个大型语言模型 CodeT5 和 Codex 在代码领域外具有的一般化能力，我们发现多任务学习与少许训练数据的微调相结合的方法能够很好地适应不同域的代码摘要和生成需求。

Mar, 2023

本文扩展了 Shifts 数据集，加入了两个来源于高风险工业应用的数据集，用于探索模型的鲁棒性和不确定性估计。新数据集包括 3D 磁共振脑图像中白质多发性硬化病变的分割和船舶功耗的估计，具有普遍分布转移和严格的安全要求。

Jun, 2022

大规模语言模型在编程语言分析中被广泛应用以提高人类生产力。本研究通过引入大规模基准数据集，调查了应用概率方法来处理与代码分布变化相关的问题，结果表明这些方法能够提高 CodeLlama 的不确定性感知能力，并增加校准质量和不确定性估计精度。然而，在不同标准（如校准误差与错误分类检测）和效能与效率之间存在不同的性能动态，强调了需根据特定环境进行方法选择的必要性。

Jan, 2024

本研究提出了 Shifts 数据集，用于评估不确定性预测和对分布偏移的鲁棒性，并提供了基线结果和任务描述。

Jul, 2021

TabularShift 是一个用于表格数据的分布转移基准，包含 15 个二分类任务，涵盖金融、教育、公共政策、医疗保健和市民参与等领域，并通过 TableShift API 可轻松访问。在该基准上，我们对多个最先进的表格数据模型进行了大规模研究，并与健壮学习和领域泛化方法进行了比较，结果显示（1）ID 和 OOD 准确性之间存在线性趋势；（2）领域健壮性方法可以缩小转移差距，但会降低 ID 准确性；（3）标签分布转移与转移差距之间存在密切关系。

Dec, 2023

介绍了使用统一框架来检测数据移位类型并量化其强度，以便改进预测方法，可用于分类和回归任务。

May, 2022

由于代码的组合性和软件的复杂性，获取具有完整代码分布覆盖的代表性训练数据仍然具有挑战性。因此，我们提出了第一种系统性方法，模拟不同维度数据属性的各种 OOD 场景，并研究在这些场景下模型的行为。我们对三项代码生成任务中的六种最先进的模型进行了广泛的研究，发现了一些由 OOD 问题引起的失败模式。此研究具有启示作用，为未来关于源代码模型的泛化、鲁棒性和归纳偏差等的研究提供了新的视角。

Oct, 2022

该文研究了机器学习模型在遇到新的用户数据时，如何估计模型的性能，提出了一种新的分布偏移模型 SJS 和算法框架 SEES，实验结果表明 SEES 在各种数据集和分布偏移情况下，相比现有方法，均能显著提高分布偏移误差的估计精度。

Sep, 2022

在机器学习任务中，分布偏移是一种常见情况，其表示训练模型使用的数据与实际应用模型的数据不同。本文旨在定义和检测教育环境中的分布偏移，关注标准预测问题，即学习一个以输入序列为输入（预测变量）X=(x_1,x_2,...,x_m) 并生成输出 Y=f (X) 的模型。

May, 2024

监督的公平感知机器学习在面临数据分布从源领域到目标领域的变化时，是一个新兴的领域，解决了在实现公正和无偏预测方面的挑战。本综述提供各种类型的分布变化的总结，并全面调查了现有方法，重点介绍了文献中常用的六种方法。此外，本综述列出了可用于经验研究的公开数据集和评估指标。我们进一步探讨了与相关研究领域的相互连接，讨论了重大挑战，并确定了未来研究的潜在方向。

Feb, 2024