Feb, 2024

生成表示指令调整

PDF
TL;DR通过生成性行为表示指导调整（GRIT）技术，我们训练了一个大型语言模型，通过区分生成和嵌入任务来同时处理两者，该模型在大规模文本嵌入基准（MTEB）上取得了最佳结果，并在多个生成性任务中超越同类模型。通过进一步扩展，我们的模型在仍属于最佳嵌入模型的同时，优于我们尝试过的所有公开生成性语言模型。此外，我们发现 GRIT 能够实现生成性或嵌入数据的训练，并且无需性能损失。
generative representational instruction tuninglanguage modelgenerative tasksembedding modelsretrieval-augmented generation
发现论文，激发创造
  • GRIT: 文档级事件实体抽取的生成角色填充变换器

    使用生成式基于 Transformer 的编码器 - 解码器框架，以考虑文档级别上下文信息的方法来重新思考文档级别下的角色 - 实体抽取问题，并在 MUC-4 数据集上展示其优越性。

    Aug, 2020

  • FinGPT: 金融数据集中开源大型语言模型的指令调整基准

    在自然语言处理（NLP）领域中，基于 GPT 模型在金融领域的潜力日益显现。然而，将这些模型与金融数据集结合存在一些挑战，特别是在确定它们的熟练程度和相关性方面。本文介绍了一种独特的方法，该方法以指令调整范式为基础，专门适用于金融环境中的开源大型语言模型。通过这种方法，我们充分利用开源模型的互操作性，确保了无缝透明的集成。我们首先解释了指令调整范式，强调其对即时集成的有效性。本文提出了一个基准测试方案，用于端到端的训练和测试，采用一种经济有效的进展方式。首先，我们评估了基本能力和基本任务，例如命名实体识别（NER）和情感分析，以增强特性。接下来，我们深入研究了一个全面的模型，通过汇集所有指令调整来执行多任务操作，以检验其多样性。最后，我们通过标记未见任务并结合新颖的数据集探索了零样本能力，以了解在未知领域的适应性。这样的范式巩固了开放性和可重现性的原则，为未来在开源金融大型语言模型（FinLLMs）中的研究奠定了坚实的基础。

    Oct, 2023

  • 朝向具有多阶段对比学习的通用文本嵌入

    我们提出了 GTE，一个用多阶段对比学习训练的通用文本嵌入模型，通过在多个数据源的各种混合数据集上进行对比学习，训练一个统一的文本嵌入模型。通过显著增加训练数据量，在无监督预训练和有监督微调阶段，取得了比现有嵌入模型更大的性能提升。此外，我们的模型在处理代码时无需额外细调每种编程语言，仅将代码视为文本就能超过类似大小的以前最佳代码检索器的性能。总之，我们的模型通过有效利用多阶段对比学习实现了令人印象深刻的结果，提供了一种强大而高效的文本嵌入模型，在各种 NLP 和代码相关任务中具有广泛的适用性。

    Aug, 2023

  • 基于生成强化的变压器的指令上下文增强方法

    利用人类反馈的强化学习从 PPO 出发，ICE-GRT 在特定领域任务中展示了出色的能力，同时保持了通用任务性能，在小型模型中表现了分析能力的下降。

    Jan, 2024

  • 生成模型的自动评估与指令调优

    基于指令调优的学习度量可以提供自然语言生成的自动评估，通过对多任务的联合训练，可以进一步改善性能，对未来的少量或无人标注数据的任务具有积极意义。

    Oct, 2023

  • CITING：大型语言模型为指导调整课程创作

    利用人工智能模型替代人类作为教师，通过研究生成学生成绩的修订，构建了 Curriculum Instruction TunING (CITING) 方法，提高了大型语言模型的表达、深度和全面性能，在 GPT-4 评估上取得了 79.4% 的胜率。

    Oct, 2023

  • 面向知识密集任务的统一语言模型：利用外部语料库

    该研究论文介绍了一种统一的语言模型，通过将生成检索、闭书生成和 RAG 有机地结合，利用外部语料库处理各种知识密集型任务。该模型通过引入不同机制实现了有效的检索和生成，并在广泛使用的 KILT 基准测试中展现了出色的性能。

    Feb, 2024

  • GraphGPT: 大型语言模型的图指令调优

    我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力，通过发展面向图结构知识的大型语言模型（LLMs），并利用图指示调整范式来与图结构知识建立联系，探索自我监督的图结构信号和任务特定的图指示，从而引导 LLMs 在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估，展示了优越的泛化能力，并超过了最先进的基准模型。

    Oct, 2023

  • TeGit: 基于文本支撑任务设计的高质量指导调优数据生成

    通过训练语言模型自动设计任务而收集高质量的教学适应数据的可扩展方法，自动生成任务指导、输入和输出，用于过滤噪音，并通过自动和手工评估实验来证明数据集的质量。

    Sep, 2023

  • GRASS: 语音语义理解统一生成模型

    该论文通过引入统一的端到端（E2E）框架，对语音语义理解任务进行了指令微调技术的探索，该框架在语音数据上生成与任务相关提示条件下的语义标签。实验证明，我们提出的模型在微调下游任务后显著优于最先进的模型，并且在零样本和少样本情况下取得了有竞争力的性能。为了促进未来对语音到语义任务的指令微调工作，我们发布了我们的指令数据集和代码。

    Sep, 2023