EMNLPSep, 2019

分布式鲁棒性语言建模

PDF
TL;DR本文研究语言模型在未知测试分布下的性能问题，并提出了一种基于分布鲁棒性的优化方法，称为主题条件风险值（topic CVaR），该方法能够在广泛的潜在测试分布下表现良好，并且在使用 Yelp 评论和新闻混合训练语言模型，并仅在评论数据上进行测试时，相对于标准最大似然估计法（MLE），实现了 5.5 点困惑度的降低。
language modelsdistributional robustnessoptimizationtext classificationtopic cvar
发现论文，激发创造
  • 通过分布式稳健优化实现统一性能学习模型

    本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

    Oct, 2018

  • 分布鲁棒优化中第二玩家建模

    本文提出了一种基于神经生成模型的分布鲁棒优化 (DRO) 方法，通过对不确定集合中的分布进行建模，使得模型在不确定的分布中表现优异，并提出一种 KL 约束内部最大化目标的松弛优化方式，通过大规模生成模型的梯度优化来解决相应的实现和优化挑战，并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。

    Mar, 2021

  • 在总变差距离下调整语言生成模型

    采用总变差距离 (TVD) 为目标函数以及 TaiLr 目标函数，可以改善自回归解码期间的文本退化问题，同时在各种文本生成任务中提高生成质量。

    Feb, 2023

  • 分布鲁棒模型的元分析

    通过 meta-analysis，我们发现具有良好 OOD 鲁棒性的最佳表现的模型都具有四个共同点，即视觉 - 语言预训练具有巨大的潜力。

    Jun, 2022

  • 估算和提高语言模型的强健性的方法

    通过研究大型语言模型的泛化能力问题以及多种提高其分布韧性的方法，本文提出了未来改进大型语言模型鲁棒性的研究方向。

    Jun, 2022

  • 全局 - 局部正则化的分布鲁棒性

    本文提出一种基于 Wasserstein 的分布鲁棒性优化方法，旨在通过同时应用本地和全局正则化，将原始分布与最具挑战性的分布相结合，提高模型的建模能力，解决深度神经网络在实际应用中对抗性示例和分布偏移等问题。实验结果表明，该方法在半监督学习、领域适应、领域泛化和对抗机器学习等各领域中均明显优于现有的正则化方法。

    Mar, 2022

  • 有条件语言模型的越界检测和选择性生成

    本文介绍了一种高精度且轻量级的适用于条件语言模型的 OOD 检测方法，并展示了其在抽象摘要和翻译方面的有效性。在分布偏移的情况下，我们的方法可以被用于高质量输出的选择生成，同时自动避免低质量的输出，从而增加自然语言生成模型的安全性。

    Sep, 2022

  • 基于组合优化的大规模分布式鲁棒模型学习

    本文提出通过有限和复合优化来提供可扩展的机器学习算法，用于训练鲁棒性强的模型，并展示本算法在超大数据集上学习鲁棒模型的有效性。

    Mar, 2022

  • 面向视觉及语言推理的语义分布式鲁棒优化

    本文提出一种名为 SDRO 的模型无关方法，利用分布式鲁棒优化设置中的一组语言转换，并使用集成技术在推断期间利用这些转换来提高通用性和稳健性。实验表明，该方法可以对视觉和语言模型进行增强，从而在图像（NLVR2）和视频（VIOLIN）上获得性能改善，并展示了对抗性攻击的稳健性。

    Oct, 2021

  • 探索集成方法提高文本分类器模型鲁棒性

    本文通过分析一系列偏置特征并证明没有单一的模型适用于所有情况来改善模型的鲁棒性，进一步表明通过选择合适的偏置模型，我们可以获得比更复杂的模型设计基准更好的鲁棒性结果。

    Oct, 2022