Jan, 2022

数据损坏对自然语言理解模型的影响：对 GLUE 数据集的研究

PDF
TL;DR本论文针对自然语言理解研究的核心问题，以预训练语言模型为研究对象，通过对数据进行特定破坏转换使其变为无意义的句子，考察了在非意义上下文中该模型的判断能力，发现即便是在数据被破坏之后，该模型在大部分 GLUE 任务上的表现依旧保持较高水平，说明其在预测过程中利用了其他提示信息，同时引入了数据转换的概念，为评估模型语言理解能力提供了一种新方法。
natural language understandingpre-trained language modelscorruption transformationsglue tasksdata transformations
发现论文，激发创造
  • 探究预训练语言模型的数据污染

    本文研究了语言模型在预训练阶段遭受数据污染的影响，探索了文本污染和真实数据污染对模型性能的影响，调查了不同下游任务中污染的重复效应，并指出了当前 LLM 报告中关于污染定义的局限性和不足之处。研究结果为了解数据污染对语言模型的影响提供了新的见解，并强调在 LLM 研究中进行独立、全面的污染评估的必要性。

    Jan, 2024

  • 数据污染能够跨越语言障碍

    开发大型语言模型的不透明性引起了关于潜在的训练数据污染的担忧。我们提出了一种基于跨语言的深层污染形式，可以欺骗传统的检测方法。我们还探讨了跨语言污染在解释语言模型的工作机制和提升多语言能力方面的潜在用途。

    Jun, 2024

  • 研究大型语言模型在文本到 SQL 翻译中的数据污染影响

    通过新的方法检测数据污染以及使用新数据集 Termite，研究了 GPT-3.5 在 Text-to-SQL 任务中的性能影响，结果表明数据污染对 LLMs 在文本到 SQL 转换任务中具有显著影响。

    Feb, 2024

  • 非自然语言推论

    通过一个明确的指标，我们提出了多种度量方法，并研究了哪些特定的排列方式使得大型 Transformer NLU 模型在自然语言推理任务中对随机词序具有一定程度的规律性。我们对此现象进行了综合实证评估，发现无论是基于 Transformer 还是基于 pre-Transformer RNN / ConvNet 结构的编码器，以及跨多种语言（英语和中文）都存在此问题，并提供相关数据和代码。

    Dec, 2020

  • 数据污染：从记忆到利用

    本研究根据预训练语言模型在联合语料库上进行分析，发现在一些情况下存在信息的利用，但在其他情况下，模型只是纯粹地记住了数据，但并没有利用学到的知识，这两种情况受到了多重因素的影响，如污染数据的数量和模型的大小，在区分语言理解和数据利用方面，对于大规模的互联网语料库的分析具有重要意义。

    Mar, 2022

  • 通过建模语料库中的偏见进行端到端偏见缓解

    本文提出了两种学习策略来训练神经模型，更加稳健，并且更能够迁移到域外的数据集。这些策略利用了数据集的偏差，通过 down-weighting 有偏差的例子，使基础模型减少对偏差的依赖。实验表明，我们的去偏差方法在所有设置中都显著提高了模型的稳健性，并且更好地迁移到其他文本蕴涵数据集上。

    Sep, 2019

  • 探索关系抽取中的自动扰动自然语言解释

    本文研究了自然语言解释在提高模型的泛化能力和数据效率方面的有效性，并发现即使是完全被破坏的解释，也仍有助于提供额外的上下文空间，从而取得与标注解释相当的结果，但计算效率显著提高了 20-30 倍。

    May, 2023

  • 自然语言理解中的去偏方法使得偏见更容易被接受

    通过提出一种基于探究的框架，研究了自然语言理解中的偏见修正方法。结果表明，推迟偏见的方法会导致更多的偏见被编码到模型的内部表示中。

    Sep, 2021

  • BERT 的治愈力量：如何通过任务特定微调恢复受损的语言模型

    研究了语言模型（如 BERT）对参数故障的鲁棒性，发现底层的参数故障对语言模型的性能恢复有着更严重的影响，这些发现有助于了解语言模型在不利条件下的鲁棒性和适应能力，并为开发抵抗参数扰动的弹性自然语言处理系统提供了策略。

    Jun, 2024

  • 大型语言模型是否仍存在纠正问题？

    通过两个实验证明纠错在大型语言模型中的重要性，以及其对自然语言处理和 NLP 应用的影响。

    Aug, 2023