ICLRJul, 2019

自然语言生成模型训练中的表示退化问题

PDF
TL;DR本文研究了神经网络训练自然语言生成任务模型时的 “表示退化问题”，提出一种新的正则化方法来解决这个问题，并在语言建模和机器翻译任务上实验验证了其性能优于基准算法。
neural networknatural language generationrepresentation degeneration problemregularization methodperformance
发现论文，激发创造
  • 通过退化模型学习多样化神经文本生成技术

    通过训练两个模型来防止神经语言模型生成单一和重复的文本，从而增强多样性和信息量，实验证明这种方法的有效性。

    Sep, 2023

  • 适应性梯度门控稀有符号降级所有符号：通过稀有符号嵌入改进神经文本生成

    本研究分析了 Neural Language Model 中 Token Embeddings 的训练动态，探讨了少见 Token Embeddings 梯度的特定部分是引起表示退化问题的关键原因，并基于此提出一种名为自适应梯度门控（AGG）的新方法来解决此问题，实验证明了 AGG 的有效性。

    Sep, 2021

  • Transformer 模型中的各向异性是否固有？

    本文探讨了 self-supervised learning 方法在 transformer 架构的模型中出现的表示退化问题，提到了表征中的各向异性现象，并且指出该问题在表示学习、自然语言处理等领域都具有普适性。

    Jun, 2023

  • 神经文本退化的好奇案例

    本研究发现人类文本和机器生成文本的分布存在差异，在相同的神经语言模型下使用不同的解码策略可以显著影响文本质量，提出了一种基于动态核心采样的方法来提高生成文本的多样性和流畅性。

    Apr, 2019

  • 重复输入重复输出：从数据角度理解神经文本退化

    我们通过数据角度的初步研究发现，训练数据中重复出现的词语与文本退化问题之间存在强烈的相关性，通过有选择地消除训练数据中重复词语的注意力，可以显著减少退化现象，并且惩罚训练数据中的重复部分是解决退化问题的一个普遍而基本的因素。

    Oct, 2023

  • 利用损失景观中的蜕变性进行机械解释

    通过研究神经网络的权重和激活，以逆向工程神经网络算法为目标，机械可解释性旨在解析神经网络的算法。我们提出了 3 种网络参数退化的方法，并发展了一种指标来识别网络中的模块，以寻求一种对退化不敏感的表示方法，从而使得神经网络更易解释，而且更有可能具有较少的相互作用。我们介绍了一种称为交互基础的方法，它可以从激活或雅可比矩阵的线性相关性中获得一种对退化不敏感的表示。

    May, 2024

  • 自注意力中的各向异性

    通过实证观察，本文展示了基于 Transformer 的语言模型和其他模态下的 Transformer 存在的角度距离接近的问题，即各向异性问题。

    Jan, 2024

  • 将神经文本退化与曝光偏差相关联

    本文研究神经语言生成领域的两个问题：曝光偏差和文本退化，定量和定性分析了退化发生前的误差并探讨了它们对 GPT-2 文本退化的影响，结果表明这种文本退化有一部分原因是曝光偏差导致的，同时阐述了误差增强的自我强化机制。

    Sep, 2021

  • 利用表示一致性目标提高语言模型微调

    本研究提出了一种新的 fine-tuning 方法，通过抑制表示中不必要的变化来避免表示坍塌，同时对此进行了度量，并在 13 个任务和低数据量及数据标签扰动的情况下得到了显著的性能提高。

    May, 2022

  • 记忆膨胀：建模标签噪声下的神经崩溃

    本文探讨了神经坍塌现象及其在分类问题中的应用，提出了限制表达能力的神经网络模型和误差扩散现象的模型，并证明标签平滑方法可以提高分类任务的泛化能力。

    Jun, 2022