本观点文章指出，解决数据集平衡问题的常见方法已经不足以避免深度学习模型对小规模数据和特定标签的依赖和过拟合问题。我们提出了多种替代方法，包括增强数据集上下文语境，使用少量样本训练模型，通过与用户交互的方式进行模型推理等。

Apr, 2022

研究超参数化为什么会增加模型大小，尽管数据中存在虚假相关性，具有各种数量的少数族裔，理论上证明模型的归纳偏差会导致过度参数化的问题，并提出子抽样是有效的解决方案。

May, 2020

本文提出了一种机器学习模型稳健性的框架，通过人类关于因果关系的常识知识来解决模型在训练和测试过程中的不一致性问题。透过在每个训练数据中加入人类标注的潜在未测变量，将问题转化为协变量转移问题，并引入分布稳健优化目标来控制测试时偏移的最坏情况损失，实验结果表明，在具有旋转混淆的数字识别任务和分析 NYPD 警务巡逻地点混杂的任务中能获得 5-10% 和 1.5-5% 的性能提升。

Jul, 2020

数据采集和深度学习网络训练消耗巨大的工作量和资源，在医疗领域尤为明显，需要侵入性的医疗程序或可能导致医学危害的过程，然而深度学习被视为数据需求量大的方法。在本研究中，我们评估了六个医疗数据集和六个通用数据集，训练 ResNet18 网络在这些数据集的不同子集上以评估 “更多数据得到更好的结果” 的观点，然后我们以十一个数据集作为转移学习的源数据，用在第十二个数据集（Chest 数据集）的不同子集上，以判断转移学习是否普遍有益。我们进一步探究多阶段转移学习是否能提供一致的益处。我们的分析表明，真实情况比这些简单的观点更复杂 —— 更多数据可能导致收益递减，选择错误的数据集进行转移学习可能会导致性能下降，而与 Chest 数据集高度相似的数据集相比，与之不太相似的数据集可能得到更差的结果。多阶段转移学习也揭示了数据集之间复杂的关系。

Nov, 2023

本文针对分布转移对深度学习模型性能和可靠性的影响，研究了两种类型的分布转移：多样性转移和相关性转移，并提出了一种综合协议来分析这两种转移。应用我们的方法到一个真实的皮肤癌分类问题，最终有三个发现：模型在低偏差情况下仍学习和传播与转移相关的内容；模型学习了强健的特征但仍使用其他的特征；多样性转移可以降低偏差模型对于与转移相关的特征的依赖性。

May, 2023

基于熵的样本评分方法用于识别和移除语义冗余训练数据，研究结果表明，在医学影像数据中，对有信息量的训练数据进行训练可显著优于使用全部可用训练数据的传统方法。

Sep, 2023

本文提出了一种检测和忽略数据集特异性模式的方法，采用高低容量模型的集成训练，以自动捕捉相对浅层的相关性，并确保两个模型学习不重叠的方法，以利于更好地泛化模式。

Nov, 2020

本论文解决了皮肤病分类模型数据偏差问题，通过综合分析 7 种视觉损伤，防止模型学习虚假相关性并提出了数据集来测试模型的偏差，但发现尽管结果有希望，目前的去偏方法还不足以解决皮肤病模型的偏差问题。

Apr, 2020

本文探讨了应用因果分析作为资源优化工具来开发医学成像机器学习应用的潜力。通过对合成数据集和糖尿病视网膜病变图像分析的实例研究，研究了数据集干预对图像分类模型输出的影响，以及需要在数据集中加入的数据量和类型以实现特定子任务的更好性能。

Jun, 2022

本文提出了一种用于 Chest X-ray 的多标签分类深度学习框架，通过领域和标签的权重独立二进制任务方法以及任务特定的生成对抗网络训练，处理多个数据集之间的差异性，提高了分类准确度。在三个数据集上实验，AUC 达到了 0.8349，表明本文方法在使用外部数据集来提高内部分类方面具有很高的效果。

Jun, 2020