- 遵从、虚构和模仿:多智能体 LLM 协作中的人物不一致性
通过多智能体 LLM 系统的模拟,本研究探讨了文化个体的稳定性来源以及对群体决策的意见多样性的影响,发现多智能体讨论能够鼓励反映多元观点的集体决策,但个体易受同伴压力的影响和在保持一致的文化个体和意见方面所遇到的挑战削弱了这个优势,而鼓励辩 - 无穷维空间下极小极大优化问题的收敛性及对抗性训练的稳定性
通过对无监督领域适应和生成对抗网络进行功能分析,本研究理论上解决了激烈优化所带来的不稳定性问题,展示了梯度下降法在连续函数和概率测度的无穷维空间中对极小极大问题的收敛特性,并讨论了生成对抗网络和无监督领域适应的相关条件及稳定化技术。
- 泛洪正则化用于稳定训练生成对抗网络
该论文提出了一种针对生成对抗网络(GANs)的训练不稳定问题的解决方法,通过直接对抗损失函数进行正则化,使用洪水法(flooding)抑制判别器的损失过低,实验证明洪水法可以稳定 GANs 的训练,并与其他稳定技术结合使用。
- 计算机视觉模型的不稳定性是任务本身的必然结果
通过分析,我们得出结论:计算机视觉问题的不稳定性是当前问题的必然结果,并且无法完全消除。然而,我们可以采取一些措施来部分缓解这个问题,包括提高图像分辨率、为图像提供上下文信息、对训练数据进行详尽标记,并防止攻击者频繁访问计算机视觉系统。
- ScaleLong: 通过缩放网络长跳连接实现扩散模型更稳定的训练
UNet 的长跳连接系数对其前向和反向传播的稳定性以及鲁棒性有重大影响,理论解释了 UNet 训练的不稳定性,通过 LSC 系数缩放来提高训练稳定性
- 深度神经网络的核均衡方程
在本文中,我们研究了深度神经网络对数据集分布进行估计的问题,并发现估计结果的不稳定性取决于数据密度和训练时长,通过推导出的核平衡方程,我们得到了解释不稳定性和尺度机制的现象学描述。该网络以数据集的局部平均作为预测,并根据方程确定平均的尺度, - 深度神经网络训练的不一致性、不稳定性和泛化差距
研究深度神经网络的泛化差距问题,发现模型不一致和不稳定性是影响泛化差距的关键因素,通过算法降低不一致性可以提高性能,并为现有方法(如协同蒸馏和集成学习)提供了理论基础。
- 精调不稳定性的度量
研究预训练语言模型在下游任务中使用不同的随机种子进行微调的不稳定性,并提出了更具有广泛性和有效性的稳定性的评价方法。
- ICML使用前校准:提高语言模型的少样本性能
探究了 GPT-3 的 few-shot 学习的不稳定性,发现这种不稳定性来自于语言模型偏向性,经过文本校准,这种偏向得到了有效的改善,平均准确率可以提高 30%。
- EMNLP分析数据集中的性能不稳定性诅咒:后果、来源和建议
通过一项详尽的实证研究,我们发现自然语言推理和阅读理解分析数据集的最先进模型表现存在高度不稳定性,并展示了这种不稳定性的来源,提出了应对方案及未来研究的建议。
- ICML特征量化改进 GAN 训练
本论文提出了一种对于 GAN 不稳定问题的解决方法,即对鉴别器采用 Feature Quantization(特征量化)进行特征匹配,该方法可以提升基于大规模复杂图像数据集的三种 GAN 模型的表现,使得 FID 分数获得大幅提升。
- DLIME:基于确定性的本地可解释模型无关解释方法应用于计算机辅助诊断系统
提出了确定性局部可解释的模型无关解释技术 (DLIME) 来解决 LIME 技术中由于随机扰动和特征选择方法导致的解释生成不稳定的问题,在三个不同的医疗数据集上实验表明 DLIME 相比 LIME 具有更好的稳定性,这对于在医学 CAD 系 - 深度学习在图像重构中的不稳定性 - AI 是否是一种代价?
在影像重建领域,深度学习因其在图像分类等任务中的示例成功而崭露头角,但其不稳定重建方式成为一个至关重要的问题。本文提出了一种新的稳定性测试方法,并研发了易于使用的软件,旨在帮助科学家和政府机构(如美国食品和药品管理局)确保深度学习方法的安全 - 训练生成对抗网络的原则性方法探究
本文旨在全面理解对抗生成网络训练动态,研究了训练中出现的不稳定性和饱和现象,提出了一种实用且基于理论的解决方向,并引入了新的工具来研究这些问题。