Jan, 2024

结构化数据自然语言双射的突破口和 LLM 注释的角色

PDF
TL;DR使用多个任务的序列到序列变压器语言模型对某些度量标准的性能进行改进的理论仅有有限的证据，但多任务通用模型 t5-small 相较于专门模型 t5-small 在 F1 度为 0.771（原为 0.692）表明其具备跨任务知识泛化的潜力；然而，逆任务只是一种优化策略，模型大小方面的瓶颈和语料库分布差异等因素可能导致性能的降低，进一步的研究需要使用更大模型或进行人工评估来解释贡献这些任务性能的机制。
sequence-to-sequence transformer language modelsmulti-task learningknowledge generalizationdata re-useautomatic metric performance
发现论文，激发创造
  • 减少先验知识、增加单语数据的自然语言代码生成

    通过利用较大的单语语料库，本研究调查了一个基于通用 transformer 的 seq2seq 模型是否可以在最小限度的代码生成特定归纳偏差下实现与其他语言模型相当的性能，结果显示其在 Django 上实现了 81.03％的完全匹配准确性和 32.57 的 CoNaLa BLEU 分数，均达到了我们所知道的最好水平，这为在实践中构建准确的语义解析器提供了可能更容易的途径。

    Jan, 2021

  • 中间任务训练对于域自适应和跨语言迁移学习的（无）效性

    本文分析了使用三种大型语言模型 BERT、RoBERTa 和 XLNet 在文本分类、情感分析、句子相似度三个自然语言处理任务上进行领域内和跨语言适应的迁移学习，并发现大多数任务直接进行微调而不进行中间任务训练可以获得更好的性能，而更广义的任务可能需要先进行中间任务训练。该工作有望成为 NLP 实践者进行迁移学习的指南。

    Oct, 2022

  • 针对希伯来语自然语言处理的多语言序列到序列模型

    使用序列生成结构的多语言模型能够更好的处理像希伯来语这样的形态丰富语言，从而提高希伯来语自然语言处理，与以往的编码器结构的预训练模型相比，取得了显著改善。

    Dec, 2022

  • 在 Transformer NMT 中推广源语法知识是不必要的

    本研究旨在通过使用 Transformer 模型和较大的语料库来提高源端句法知识的表征，并利用多任务学习进行数据操纵或使用专用模型组件。提供的结果表明，采用线性树而不是真实依赖得到的增益不是来自于语言知识的增加，而是由于在自注意矩阵上引起的某种简单的正则化效应。

    Oct, 2019

  • T5 模型在自然语言推理中的跨任务迁移学习

    本研究比较了顺序微调和多任务学习模型在两个相关任务上性能提升的情况，并在 FigLang2022 整合任务上测试了这些模型。结果表明，顺序微调在交叉任务知识转移方面表现优异，甚至达到最高得分。

    Oct, 2022

  • LlamBERT: NLP 中的大规模低成本数据标注

    LlamBERT 利用 Llama 2 和 GPT-4 等大型语言模型标记一小部分大型未标记数据库，通过结果对 BERT 和 RoBERTa 等 Transformer 编码器进行微调，以提高成本效益。

    Mar, 2024

  • 在资源匮乏环境中通过大型语言模型的微调进行文本数据增强

    通过细调教师大型语言模型产生和注释的数据，可以改善较小模型的下游性能，有时只需要原始训练数据的一小部分。

    Oct, 2023

  • 大型语言模型不是你所需的全部

    本文描述了解决 SemEval 2023 Task 2：MultiCoNER II（多语言复杂命名实体识别）问题所构建的体系结构和系统。我们评估了两种方法：传统的条件随机场模型和经过自定义头部微调的大型语言模型（LLM），并比较了这两种方法。我们探索的新想法有：1）衰减辅助损失（带剩余项）- 在模型上训练粗粒度 NER 的辅助任务并将其包括在损失函数的一部分中；2）三元标记混合 - 探索在最终 NER 层中预测之前混合相邻标记的嵌入方式；3）任务最优头部 - 探索各种用于 LLM 最终层的自定义头部和学习率。我们还尝试了多个 LLM，包括 GPT-3，并在最终模型中使用了多种 dropout 和其他超参数设置，该模型在开发数据上达到了 0.85/0.84 的微观和宏观 F1 值，并在测试数据上达到了 0.67/0.61。我们证明，虽然预训练的 LLM 本身相对传统模型带来了很大的改进，但通过上述额外特征 / 损失 / 模型工程技术的增强，我们还可以显著提高宏观 F1 分数。

    Jan, 2024

  • 揭示大型语言模型在 Transformer 模型之上对孟加拉语自然语言推理的优势：一项全面研究

    通过综合评估，本研究在低资源语言（如孟加拉语）的自然语言推理任务中评估了知名大型语言模型和最先进模型的性能，发现虽然大型语言模型在少样本情况下可以达到与微调后最先进模型相媲美或优越的性能，但需要进一步研究来提高我们对大型语言模型在类似孟加拉语等资源有限的语言中的理解。该研究强调了在不同语言环境中探索大型语言模型能力的持续努力的重要性。

    May, 2024

  • InPars: 使用大型语言模型的信息检索数据增强

    利用大型预训练语言模型作为综合数据生成器，对于信息检索任务的未监督数据的微调，可以使检索器在零样本学习和有监督学习的任务中获得更好的表现

    Feb, 2022