Feb, 2024

有限标记数据学习对随机性的敏感性：相互作用和系统选择的影响

PDF
TL;DR在有限标注数据的学习中，我们提出了一种方法来系统地研究随机因素的影响，并考虑它们之间的相互作用。通过应用该方法于多个随机因素，我们在多个任务上展示了现有研究中忽视随机因素之间相互作用所导致的不一致结果，并发现了更多系统性选择对随机因素的影响。
发现论文，激发创造
  • 有限标记数据的学习稳定性及随机性影响的系统文献综述

    通过综述 134 篇研究文献，我们全面概述了有限标记数据学习过程中随机性对稳定性的影响，探究、确定、缓解、比较及报告该随机性影响的四个主要任务，并提出七个挑战与未解决问题，以及进一步研究的可能方向。本综述旨在强调这个发展中的研究领域的重要性，目前还未得到应有的关注。

    Dec, 2023

  • 超越仅基于随机选择的假设：学习正类和未标记数据

    本文中，我们探讨了如何在正样本和未标注样本数据集的有选择偏差中进行有监督学习，并提出了一种基于经验风险的方法来加入标签机制和解决未知标签机制的情况，实验证明，即使在未知标签机制的情况下，考虑可能存在的选择偏差也会提高分类器的训练效果。

    Sep, 2018

  • 关于机器学习随机性对群体公平性的影响

    探究机器学习中算法跨不同组别表现差异的群体公平性的统计度量，发现这些度量在不同训练实例之间存在高方差，从而使得它们无法提供可靠的公平性实证评估。研究表明，群体公平性度量的方差来源于在少数群体上的学习过程的高波动性，而数据顺序的随机性被认为是主要的随机性源。基于这些发现，我们展示如何通过在单个时期改变数据顺序来控制群体级准确性（即模型公平性），高效并对模型整体性能影响微乎其微。

    Jul, 2023

  • 提升深度学习性能的随机性技术研究

    本研究调查了各种随机化技术对深度神经网络 (DNNs) 的影响，发现添加噪音和随机掩码梯度更新等随机化方法有助于减少过拟合和增强泛化能力。使用粒子群优化器 (PSO) 进行超参数优化，对 MNIST、FASHION-MNIST、CIFAR10 和 CIFAR100 数据集的超过 30,000 个配置进行评估，结果显示数据增强和权重初始化的随机性是主要的性能因素。相关性分析表明不同的优化器偏好不同的随机化类型。GitHub 上提供了完整的实现和数据集。

    Apr, 2024

  • 控制学习效应以减少文本分类器中的错综相关性

    本文提出了一种利用因果推断的方法实现自动化数据增强，从而减少机器学习模型学习特征和标签之间虚假相关性的问题，并在毒性数据集和 IMDB 评论数据集上得到了明显提升。

    May, 2023

  • 数量与质量：探究样本量与标签可靠性之间的权衡

    研究在概率领域学习中标签质量的优化问题，提出了在有限训练预算下，是否应优先使用重采样策略提高训练数据的标签质量还是扩大数据集；并证明在人工标注的过程中这一策略可以取得更好的分类器性能，在此基础上提出了两种不同的验证方案。

    Apr, 2022

  • 在线社交互动有多随机？

    本研究通过两大社交数据库的数据表明，用户的互动序列具有强烈的确定性组件，并且个人互动在用户单独行动时比参加团体活动时更可预测。

    Jul, 2012

  • 神经网络训练中的随机性：工具的影响特征化

    本研究发现，选择的工具如何引入随机性影响深度神经网络的训练，而非确定性的工具对模型的性能影响是复杂的，机器学习中的确定性工具对于 AI 的安全至关重要，但保证确定性的成本因神经网络架构和硬件类型而异。

    Jun, 2021

  • 关于随机种子对临床分类器公平性的影响

    本研究探究了深度学习模型训练中随机种子变化对模型公平性的影响，并使用 MIMIC-III 的临床预测任务验证了该现象，结果显示小样本和随机性可能导致结果的表面差异，同时同时优化高性能和低差异性并不能显著提高模型性能。

    Apr, 2021

  • 自然语言推理模型的行为分析：揭示三个因素对鲁棒性的影响

    研究自然语言推理 (NLI) 模型的鲁棒性，特别关注三个因素：不敏感、极性和未见过的词汇。结果发现，所有模型在处理未见过的反义词语上表现都欠佳，并且容易受到单词和标签之间的简单统计相关性的影响。

    May, 2018