Apr, 2023

基于上下文的可控数据增强技术在文本转 SQL 中的应用

PDF
TL;DR本文介绍了一种名为 ConDA 的数据扩充方法，通过交互式问题和相应的 SQL 结果生成数据，利用 SQL 对话状态增强数据多样性，同时利用基础模型确保数据质量。实验结果表明，ConDA 使基础模型的性能平均提升了 3.3％，且生成的数据质量较高。
text-to-sql modelsdata augmentationcondasql dialogue stategrounding model
发现论文，激发创造
  • CoDa: 基于约束生成的数据增强方法用于低资源 NLP

    CoDa 是一种控制性、有效性且无需训练的数据增强技术，用于低资源（数据不足）自然语言处理。通过从每个样本中提取简单的约束条件，我们使用指令型大型语言模型生成满足这些约束条件的文本，从而产生了多样且新颖的训练实例。我们的研究结果表明，遵循下游数据集中的简单约束条件的合成数据作为有效的数据增强，在不需要复杂的解码约束生成技术或精细调优的情况下，CoDa 可以实现这一目标，从而避免了模型偏向训练样本数量较少的问题。此外，CoDa 是第一个可以让用户对数据增强生成过程进行明确控制的框架，并支持多个领域的简单适应性。通过覆盖 3 种任务和 3 种低资源设置的 11 个数据集，我们展示了 CoDa 的有效性，其相对基准模型在定性和定量上均有 0.12%-7.19% 的改进。代码可在此链接中找到：this https URL。

    Mar, 2024

  • CoDA: 自然语言理解的对比增强和多样性促进数据增强

    本文提出了一种名为 CoDA 的新型数据增强框架，通过整合多种转换方法，试图解决文本数据增强中的标签保留问题。实验表明，CoDA 架构在多种自然语言理解任务中平均提高了 2.2% 的效果，相较其他基线方法表现更强

    Oct, 2020

  • 对话人工智能的数据增强

    对话系统中的数据扩充方法提供了关键的方法来解决数据稀缺问题，并探讨了对话系统中的生成、评估等任务中的挑战与未来方向。

    Sep, 2023

  • 利用问答数据集来改进生成型数据增强

    本论文提出 CONDA 方法以生成虚拟数据，并通过将结构放在 QA 对上并使用 QA 数据集来训练上下文生成器来进一步提高生成语言模型的能力，通过将下游任务转化为相同的问答格式并调整上下文生成器适应目标任务域，使用精调的生成语言模型生成相关上下文，这些上下文作为相应任务的虚拟训练数据，在多个分类数据集上进行实验，显示出在几乎零样本和少样本设置中的性能显着改进，分析表明要求高级推理能力的 QA 数据集（例如，抽象和常识 QA 数据集）在几乎零样本和少样本设置中都能显着改进性能。

    May, 2022

  • QDA-SQL：问题增强对话增强的多轮文本到 SQL

    提出了一种名为 QDA-SQL 的新型数据增强方法，通过使用 LLMs 生成多种类型的多轮问答对，以提高针对复杂多轮 Text-to-SQL 任务的 LLMs 性能。实验证明，QDA-SQL 可以使经过微调的模型在 SQL 语句准确性方面表现更好，并提高它们处理复杂不可回答问题的能力。

    Jun, 2024

  • 跨域文本到 SQL 解析中的基于层次化 SQL 到问题生成的数据增强

    该论文通过设计一个简单而有效的数据增强框架，提出了一种层次化的 SQL 转自然语言问题生成模型，以及一种简单的采样策略来显著提高训练效率。在三个跨领域数据集上的实验表明，其方法可以一贯地改善表现，并且层次化生成组件是改善的关键。

    Mar, 2021

  • 低资源开放领域对话生成的可控且多样化的数据增强

    利用大规模语言模型 (LLM) 进行以摘要为基础的对话增强 (SDA) 以提高语义多样性和控制能力，通过生成高质量和多样化的对话数据来增强开放领域对话模型的性能。

    Mar, 2024

  • 如何再次提问：使用连续空间中可控的重写进行问题数据增强

    本文提出一种新型的数据增强方法 CRQDA，利用 Transformer 自编码器和预训练的 MRC 模型生成与上下文相关、高质量和多样化的问题数据样本，通过在 SQuAD 2.0、SQuAD 1.1 问题生成和 QNLI 任务上的实验证明了其有效性。

    Oct, 2020

  • 控制用户对话行为增强对话状态跟踪

    介绍了 CUDA-DST 方法，将用户 utterances 转换成具有不同行为的 utterances，并获得改进，表现出更好的鲁棒性，在 MultiWOZ 2.1 数据集上取得了最新的性能。

    Jul, 2022

  • 利用自我对弈增强多轮文本转 SQL 数据集

    本文提出了一种通过自身游戏来增强训练集，再利用经过采样的目标查询生成新的交互来适应新的数据库的上下文依赖文本转 SQL 任务方法，并利用所得到的增强数据重新训练模型，实验表明，该方法在 SParC 和 CoSQL 两个广泛使用的跨领域文本转 SQL 数据集上显著提高了准确性。

    Oct, 2022