- 利用不变学习的时间序列预测方法进行超出分布泛化
通过不变性学习，提出了 FOIL 框架，该框架能够增强时间序列预测模型在分布不同的情况下具有的广义能力，改进性能可达 85%。
- LLMs 是否解决了编程示范问题？
编程按示例（PBE）旨在从输入输出示例中生成算法。本文研究了大型语言模型（LLMs）是否可以被视为 “解决” PBE 问题，并探讨了 LLMs 在传统和非传统领域的效果及其在分布外泛化方面取得更好结果的方法。
- Transformer 推理能力的界限与归纳式草稿板
此论文提出了 “分布局部性” 的概念，用于捕捉正常 Transformer 模型有效实现弱学习的情况，同时证明了分布局部性高的情况下不能高效学习，并且介绍了通过破坏分布局部性和改进超出分布泛化能力的 “归纳式草稿” 概念。
- 学习理解：模块化算术任务中上下文学习和技能组合的出现
通过研究模块化算术任务中上下文学习和技能组合的出现，我们证明了 GPT-style transformer 模型从分布内到分布外泛化的转变，也发现了最小的能够进行分布外泛化的模型需要两个 transformer 块。
- 基于拓扑感知的图分布偏移动态重新加权
采用拓扑感知动态重新加权（TAR）框架，通过在几何 Wasserstein 空间中的梯度流动态调整样本权重，以提供分布鲁棒性，从而增强图数据的域外泛化性能。
- IENE：图中节点环境的识别和推断对于图外分布泛化的影响
本文提出了一种基于节点级环境识别和外推技术的图形上的节点层次环境识别和提取不变性方法 IENE，其能够同时从两个层次提取不变性，从而提高了广义化性能。经过广泛的实验验证，IENE 在两个合成和四个真实世界的 OOD 数据集上验证了其优越性， - 超越协变量偏移的多重校准与外域推广的桥梁
通过多校准，建立一个新的无模型偏见优化框架，确保预测器在一组重叠群体中实现校准，从而与协变量偏移下的统计推断的稳健性相关联，并扩展多校准以包括考虑协变量和标签的分组函数，从而实现包括概念变化在内的预测任务的稳健性。
- 预训练模型的外部分布泛化受哪些变量影响？
预训练深度神经网络嵌入广泛使用，然而在下游任务中它们的有效性各不相同。本文通过隧道效应假设研究了影响预训练深度神经网络嵌入进行域外泛化的因素。通过改变网络架构、训练数据集、图像分辨率和增强等条件来研究如何减轻隧道效应，并使用新颖的 SHAP - 基于 CNN 和训练动态的自动文本识别
使用 Data Maps 对 AuTexTification 数据集进行建模和表征，通过训练过程中个体样本的行为洞察（训练动态）。我们通过自信度、可变性和正确性这三个维度表征样本，发现有三个区域：易学习、模糊和难学习的样本。我们使用经典的 - 机器学习中因果推断简介
这篇研究论文旨在介绍数据科学中的因果推理对机器学习的重要性，包括因果推理的原则、机器学习的应用，以及与之相关的扩展视野和知识，特别关注机器学习中的分布外泛化问题。
- 不变风险最小化是总变差模型
基于总变差和 L2 范数的不变风险最小化方法被验证为一种数学本质，同时基于 TV-l1 模型的 IRM 框架在去噪和不变特征保留方面具有鲁棒性，并满足一些要求以实现超出分布的泛化能力。实验证明，该框架在多个基准机器学习场景中取得了竞争性能。
- 大规模语言模型（LLMs）上的图上测试时间训练
我们提出了一种新颖的测试时训练（LLMTTT）流程，借助大型语言模型作为注释者，在精心选择的节点集上进行图上的测试时适应，从而相对于现有的超出分布泛化方法，获得显著的性能提升。
- CVPR基于锚点的视觉语言模型的鲁棒微调
我们提出了一种补偿微调过程的方法，利用具有丰富语义信息的辅助监督作为锚点来保留原始的 CLIP 特征空间，从而保持了 OOD 泛化性能，并在领域迁移和零样本学习基准上取得了新的最先进结果。
- 基于信息论的超出分布通用性的框架
在机器学习中，我们研究了离群分布的泛化问题，并提出了一个提供信息论泛化边界的通用框架，该框架自由地插值在积分概率度量和 f - 分布之间，并且自然地恢复了一些已知结果（包括 Wasserstein 和 KL 边界），同时产生了新的泛化边界。 - 保证覆盖的预测集合 —— 针对外部数据的
我们研究了 OOD 通用化情境下的置信集预测问题，并提出了一种在 OOD 情境中形成可靠预测集的方法，并在模拟数据上进行了实验证实了我们理论的正确性和方法的有效性。
- 语言在 CLIP 对象 - 属性组合泛化中起着关键作用
通过研究图像与语言模型 (CLIP) 在不同类型的分布转换下的通用性，重点关注图像与语言模型在新颖的属性 - 对象配对组合中的分类能力。研究表明，使用大规模的训练数据和语言监督可以显著提高视觉 - 语言模型的组合泛化能力。
- 透过敌对数据增强从离线任务表示学习中解离策略
离线元强化学习（OMRL）通过仅依赖静态数据集，使代理程序能够有效应对新任务。然而，许多现有的 OMRL 方法中，学到的任务表示往往与行为策略产生虚假相关，而非准确反映任务的本质特征。为了解决这个问题，我们提出了一种新的算法，通过对抗性数据 - 有限数据之外：通过外推实现无数据外域泛化
利用大型语言模型和文本到图像生成技术，我们介绍了一种领域外推方法，通过合成全新领域的高保真、逼真的图像来显著提高域泛化数据集的训练效果，实现了单一和多领域泛化任务上的显著改进，甚至在没有任何收集数据的条件下，超过了监督设置的表现。
- 关于外分布泛化评估的调研
机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分 - CVPR通过分层语义环境改进图形中的分布外泛化
本研究提出了一种新颖方法，通过生成层次化的语义环境来增强图不变性学习，以应对分布转移，实验证明该方法在真实世界的图数据上取得了显著效果。