Oct, 2020

Linguistically-Informed Transformations (LIT): 自动生成对比集合的方法

HTML
PDF
TL;DR本文提出了一种语言学驱动的转换（LIT）方法，用于自动生成对比集，以探索感兴趣的语言现象以及组成不同现象。在对SNLI和MNLI进行实验中，使用我们的方法发现当前预训练语言模型虽然被认为包含足够的语言知识，但他们在我们自动生成的对比集上表现不佳。此外，通过将LIT应用于扩充训练数据，可以提高模型在对比集上的表现，并且不会影响原始数据的性能。
发现论文，激发创造
  • 在 NLG 中最大化风格控制和语义准确性：个性变化和话语对比

    本研究旨在探索神经生成法如何同时实现语义准确度和文体控制，在两个文体基准任务中，通过在译码器中进行文体调节，消除先前模型中使用的语义再排序器，从而实现了语义误差降至接近零，并在Personality中实现了超过15个BLEU分数的巨大性能提升。在控制对比中还实现了从0.75到0.81的提升以及语义误差从16%降至2%。

    Jul, 2019

  • 条件语言生成的编码器无关适应

    本研究探讨了一种称为伪自关注的方法，将任意条件输入直接注入到预训练的转换器模型中，提高了语言生成任务的性能，保证了数据效率。

    Aug, 2019

  • 通过对比集评估模型的局部决策边界

    提出了一种新的NLP注释范例，通过创建对照集，意在消除测试数据中的系统性差距，从而更准确地评估模型的真实语言能力。创建10个多样化的NLP数据集的对照集并将其作为新的评估基准发布。

    Apr, 2020

  • 自然语言处理中对比预训练概述：方法、经验教训和展望

    本文总结了最近自监督和有监督对比 NLP 预训练方法，并描述了它们在提高语言建模、零样本学习、预训练数据效率和特定 NLP 终端任务方面的应用。文章介绍了关键的对比学习概念，总结了应用和交叉领域关系的结果。最后，我们指出了对比 NLP 的未来挑战和方向，以鼓励将对比 NLP 预训练推向近期在图像表示预训练中的成功。

    Feb, 2021

  • 大型预训练语言模型在自然语言处理中的最新研究进展：综述

    本文介绍了使用预训练和微调、提示或文本生成方法解决NLP任务的大型预训练基于transformer的语言模型，以及使用预训练语言模型生成数据进行训练或其他目的的方法，并讨论未来研究的限制和建议方向。

    Nov, 2021

  • 对比自监督学习中的文本转换方法综述

    本综述论文探讨了如何在自监督学习中使用对比学习方法来改善文本表示学习，并介绍了现有方法的优缺点和局限性。

    Mar, 2022

  • 基于语料库的对照集用于检测低资源英语种类中的形态句法特征

    本文探讨了自然语言变体的研究，通过识别语言特征（例如零be动词结构）在语料库中的分布情况，分析这些特征在不同语境中的变化，提出了一种基于人工编辑的自动检测方法，并在印度英语和非裔美国英语方面的实验中展示了该方法的有效性。

    Sep, 2022

  • SwitchGPT：适用于非文本输出的大型语言模型调整

    通过将大型语言模型转化为多模态模型，能够在无需复杂预训练的情况下，方便地为非文本响应提供高度灵活性的多模态方案。

    Sep, 2023

  • 对比困惑度与受控生成：在去毒化大型语言模型中的应用

    研究通过对大型语言模型进行对比学习目标的整合，以实现隐式知识编辑和受控文本生成，从而解决生成不受欢迎和事实不正确的内容的问题。该方法在自毁训练方式的基础上，通过利用现成的语言模型进行数据生成，成功降低了生成有毒内容的频率，并在通用任务（如常识推理和阅读理解）中保持了模型的实用性。该方法简单且实践有效。

    Jan, 2024

  • 使用对比集的大型语言模型评估：一种实验方法

    在自然语言推理领域中，交叉熵损失度量被广泛应用于多输入文本分类任务，但该度量方式在有效评估模型理解语义蕴涵能力方面存在不足。本研究引入一种创新技术，通过自动替换动词、副词和形容词的近义词来产生斯坦福自然语言推理数据集的对比集，以评估模型表现是否基于真实语言理解还是仅仅基于模式识别。研究使用ELECTRA-small模型进行分析，模型在常规的自然语言推理数据集上达到89.9%的准确率，但在对比集上准确率降低到了72.5%，下降了17%。由此结果导致我们对模型的学习行为进行了详细考察，然后通过针对自然语言推理数据集的对比增强训练数据集对模型进行微调，将其准确率提升到了85.5%。我们的研究结果强调了在自然语言推理任务中加入多样化的语言表达的重要性，希望能促进创建更包容的数据集，从而推动更为复杂和有效的自然语言推理模型的发展。

    Apr, 2024