May, 2024

自动为涵盖不同粒度的 LLLs 生成大量上下文驱动的 SFT 数据

PDF
TL;DR通过创造高质量的查询 - 回应对，我们引入了一种名为 AugCon 的新方法，能够自动生成多个层次上的具有高多样性、质量和准确性的上下文驱动的 SFT 数据。实验证明 AugCon 在生成高多样性、质量和准确性的 SFT 数据方面具有明显优势。
query-response pairssupervised fine-tuninglarge language modelsautomated methodscontext-driven sft data
发现论文，激发创造
  • 通过 LLM-Cognition 数据增强来概括对话式密集检索

    通过 LLM - 认知数据增强（ConvAug）的方式，本文提出了一个泛化会话密集检索的框架，生成多级增强会话以捕捉会话上下文的多样性，利用认知感知过程减少误报、漏报和幻觉，通过难度自适应的样本筛选改进模型的学习空间，采用对比学习目标训练更好的会话上下文编码器。通过在四个公共数据集上进行广泛实验，包括正常设置和零样本设置，证明了 ConvAug 的有效性、泛化性和适用性。

    Feb, 2024

  • 生成上下文感知的自监督语音模型微调

    使用生成式的上下文感知微调方法，该方法通过生成文本来提取上下文信息并改善模型预测能力，无需真实前文或语言模型在推断时的访问，且只需一个非常小的附加上下文模块，并在自监督语音模型的微调过程中进行提取和蒸馏。

    Dec, 2023

  • 基于上下文的可控数据增强技术在文本转 SQL 中的应用

    本文介绍了一种名为 ConDA 的数据扩充方法，通过交互式问题和相应的 SQL 结果生成数据，利用 SQL 对话状态增强数据多样性，同时利用基础模型确保数据质量。实验结果表明，ConDA 使基础模型的性能平均提升了 3.3％，且生成的数据质量较高。

    Apr, 2023

  • LongSkywork：用于大型语言模型中高效扩展上下文长度的训练方法

    LongSkywork 是一种具有长上下文处理能力的大型语言模型 (LLM)，通过在标准 SFT 阶段之后添加长上下文 SFT 阶段来增强长上下文处理能力，使用合成数据的方法显著提高了训练效率，并在各种长上下文基准测试中取得了出色的表现。

    Jun, 2024

  • 利用问答数据集来改进生成型数据增强

    本论文提出 CONDA 方法以生成虚拟数据，并通过将结构放在 QA 对上并使用 QA 数据集来训练上下文生成器来进一步提高生成语言模型的能力，通过将下游任务转化为相同的问答格式并调整上下文生成器适应目标任务域，使用精调的生成语言模型生成相关上下文，这些上下文作为相应任务的虚拟训练数据，在多个分类数据集上进行实验，显示出在几乎零样本和少样本设置中的性能显着改进，分析表明要求高级推理能力的 QA 数据集（例如，抽象和常识 QA 数据集）在几乎零样本和少样本设置中都能显着改进性能。

    May, 2022

  • 基于大型语言模型的上下文感知聚类

    使用开源的大型语言模型（LLMs）进行效率高且有效的监督聚类，通过捕捉上下文来聚类实体子集。通过引入一种新的改进的三元损失函数和基于文本增强技术的自监督聚类任务，我们的方法在各种电子商务查询和产品聚类数据集上显著优于现有的无监督和有监督的基准。

    May, 2024

  • 学习上下文聚合多源监督用于序列标记

    本文介绍了一种名为 Consensus Network 的框架，该框架可以在多个源的注释上进行训练，学习每个源的个体表征，并通过上下文注意力动态聚合源特定的知识，并最终导致反映多个源之间达成一致（共识）的模型，实验结果表明此框架在多源学习方面表现优异

    Oct, 2019

  • 超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

    本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

    Apr, 2022

  • 问题生成的合成上下文生成

    通过使用大规模语言模型生成的合成上下文进行训练，研究表明，虚拟上下文在问句生成中具有类似实际上下文的效果，为未来该领域的进一步发展铺平了道路。

    Jun, 2024

  • AUGUST：自动生成实现对话式推荐数据集的构建辅助工具

    本文提出一种用于生成大规模且高质量的对话式推荐数据集的方法，该方法结合了传统推荐数据集的个性化用户资料，知识图谱的外部知识和来自人与人对话式推荐数据集的对话能力，并证明该方法在低资源情况下可有效帮助发展更有效的对话式推荐系统。

    Jun, 2023