May, 2022

亿级参数比域内训练数据更有价值：在法律推理任务中的案例研究

PDF
TL;DR本文中，我们使用了零 shot 模型在 COLIEE 2022 的法律案例蕴含任务中进行了实验，并发现语言模型参数数量的增加可以提高 F1 分数，尤其是对于该任务。我们的 3B 零 shot 模型在 COLIEE 2021 测试集中表现优异，在 COLIEE 2022 比赛中也取得了最佳表现，其次是由 3B 模型本身和较小版本的模型组成的集成模型。此外，我们还演示了零 shot monoT5-3b 模型在生产中如何作为搜索引擎使用，包括用于法律文件。
发现论文，激发创造
  • 调节还是不调节？零样本模型用于法律案例蕴含

    本研究通过参与 COLIEE 2021 的法律案例蕴含任务，考察了预训练语言模型在法律领域的迁移能力。实验结果表明，在有限标记数据的情况下，与适应目标任务的 Fine-tuning 模型相比，没有或只部分适应的模型对数据分布的更改更加稳健。

    Feb, 2022

  • Yuan 1.0：零样本学习和少样本学习中的大规模预训练语言模型

    本研究提出了一种方法，将分布式训练性能纳入模型架构设计中，用于构建 245B 参数的大型单例语言模型 Yuan 1.0，在千万台 GPU 上取得了优异的性能，并在自然语言处理任务中取得了最新成果，同时还建立了当前质量最高的 5TB 中文语料库。此外，本研究还提出了数据处理方法和校准与标签扩展方法，以提高零样本和少样本准确性。Yuan 1.0 表现出强大的自然语言生成能力，其生成的文章很难与人类撰写的文章区分开来。

    Oct, 2021

  • 不止尺寸重要：小型语言模型也是少样本学习者

    该研究通过将文本输入转换为包含任务描述的填空问题，并结合梯度优化和利用未标记数据，成功地创造了小型语言模型，达到了与 GPT-3 相似的性能，为小型语言模型的成功应用提供了关键因素。

    Sep, 2020

  • 多语言语言模型的少样本学习

    本文研究了大规模生成语言模型在多语言语料库上的跨语言泛化能力，实验结果表明，通过多语言提示方案，在许多任务中，模型可以在少量示例和无样本学习中完成良好的表现。

    Dec, 2021

  • 语言模型是少样本学习器

    在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

    May, 2020

  • 不让任何参数落下：蒸馏和模型大小对零 - shot 检索的影响

    本研究表明，在信息检索任务中，经过裁剪的小型语言模型是大型、速度慢得多的模型的强有力竞争者。在信息检索实际应用中，由于延迟限制，压缩和稠密模型成为首选。然而，通过实验，我们发现模型大小和早期查询文档交互对检索模型的泛化能力起着重要作用。增加模型大小在相同领域的测试数据集上几乎没有增益，但在从未在训练中见过的新领域上存在更大的提高。此外，我们还显示 reranker 在几个任务中大大优于其大小相似的稠密模型。我们的最大 reranker 在 Benchmark-IR（BEIR）的 18 个数据集中的 12 个数据集中达到了最先进水平，平均超过了以前的最优结果 3 个点。最后，我们证实，域内有效性不是零 - shot 有效性的好指标。

    Jun, 2022

  • SemEval2024 任务 5：民事诉讼中的合法论证任务中的渴望学习者

    该研究通过比较不同方法，调查了零样本方法在使用三种大型语言模型、两种具有大输入标记尺寸的模型和两种预训练的法律数据模型进行数据分类方面的表现。我们的主要数据集来自美国民事诉讼领域，包括法律案例摘要、具体问题、潜在答案和详细解释，这些都是从一本针对法律学生的书中获取的。通过这些实验，我们的发现展示了大型语言模型的零样本方法如何有效理解复杂数据，我们在实验中取得了最高的 F1 得分，达到了 64%。

    Jun, 2024

  • Megatron-LM：使用模型并行训练十亿级语言模型

    本文提出了一种用于训练亿级参数的 transformer 模型的简便、高效的内部层模型并行方法，并且通过在 WikiText103，LAMBADA 和 RACE 数据集中取得了最先进的结果，证明了大型语言模型可以进一步推进最先进的技术。

    Sep, 2019

  • BTLM-3B-8K：3B 参数模型中的 7B 参数性能

    介绍了 Bittensor 语言模型 BTLM-3B-8K，这是一个新的最先进的 30 亿参数的开源语言模型，由 SlimPajama 数据集的 627B 个标记进行训练，具有 2048 和 8192 上下文长度的混合。BTLM-3B-8K 在下游任务中优于所有现有的 30 亿参数模型 2-5.5%，甚至与一些 70 亿参数模型相竞争。此外，BTLM-3B-8K 在长上下文性能方面表现优秀，在高达 8192 上下文长度的任务上超过了 MPT-7B-8K 和 XGen-7B-8K。

    Sep, 2023

  • mGPT: 少样本学习器转向多语言

    本文介绍了两种自回归 GPT 类模型，使用维基百科和 Colossal Clean Crawled Corpus 训练了 60 种语言、25 种语言系的搜索，展示了多种任务上的表现，包括分类、生成、序列标记和知识探测，在多语种任务上有着与 Facebook 最近发布的 XGLM 模型相媲美的表现。

    Apr, 2022