Jan, 2023

再生学习：一种数据生成的学习范式

PDF
TL;DR本文介绍了一种称为再生学习的学习范式，将表示学习的概念扩展到数据生成任务，使用 Y' 进行数据生成。再生学习作为传统表示学习的对应物，可以广泛应用于数据生成，并且可以为开发数据生成方法提供有价值的见解。
regeneration learningrepresentation learningdata generationsource datatarget data
发现论文，激发创造
  • 使用丰富提示进行零样本图像转换的扩散模型再生学习

    本文提出了一种 ReDiffuser 图片修复模型，该模型使用自动生成的描述来完成图片编辑，利用再生学习和交叉注意力向导实现图片对形状的一致性保留，并引入一种协作更新策略，提高图片修复的质量和一致性。实验结果表明，该方法在真实和合成图片编辑方面优于现有方法。

    May, 2023

  • ReGen：使用预训练语言模型的文本和知识库生成的强化学习

    本文介绍了一种使用双向文本和图形生成的深度强化学习方法，通过线性化图形，将图生成问题转化为序列到序列生成问题，我们通过一个广泛的实验，表明所提出的方法在 WebNLG+2020 和 TekGen 数据集上都表现优异，提高了 WebNLG+ 2020 的状态 - of-the-art 结果。

    Aug, 2021

  • ReGen: 通过渐进式稠密检索生成训练数据进行零样本文本分类

    本研究提出了一个检索增强的框架，使用特征描述性词语作为 dense retriever，从无标注的语料库中创建训练数据，以便在与基于大型自然语言生成模型相比节省 70% 的时间内，取得优于最强基线 4.3% 的成绩。

    May, 2023

  • 自导噪声无数据生成的高效零样学习

    本文提出了一种名为 SunGen 的噪声鲁棒根据权重重新加权框架来自动构建零 - shot 分类问题中的高质量数据，有效提高了模型的性能和效率。

    May, 2022

  • 音频 LDM 2：使用自监督预训练学习整体音频生成

    该研究提出了一个框架，使用相同的学习方法进行语音、音乐和音效生成，引入了一种名为 “语言音频（LOA）” 的音频通用表示，并通过 AudioMAE 和潜在扩散模型进行自监督训练，实现了在文本到音频、文本到音乐和文本到语音等任务上的最先进性能。

    Aug, 2023

  • RoboGen: 通过生成式模拟释放无限数据用于自动化机器人学习

    通过生成仿真系统，RoboGen 是一种生成式机器人代理，可以自动学习各种机器人技能，从而规模化地进行机器人技能学习，减少人类监督。

    Nov, 2023

  • 数据编程：快速创建大规模训练集

    为解决有限数据训练集的问题，本研究提出一种名为 Data Programming 的范式，通过弱监督策略和领域启发式标注函数生成训练集，以生成模型表示训练集的标注过程并降噪，探讨数据编程在监督学习中的应用及在 TAC-KBP 数据集上的检测等实验与研究。

    May, 2016

  • ZeroGen：通过数据集生成高效的零样本学习

    本文研究了一种灵活高效的零样本学习方法 - 零样本生成（ZeroGen），基于预训练语言模型（PLMs）无监督生成数据集，并使用该数据集训练小型模型进行任务处理，从而实现高效推理。实验和分析表明， extsc {ZeroGen} 在文本分类、问答和自然语言推理等 NLP 任务中的有效性。

    Feb, 2022

  • DejaVu: 有条件的再生性学习以提升密集预测

    DejaVu 通过条件图像重建作为额外的监督来提高用于密集预测任务的深度学习网络，在多个密集预测基准测试中还展示出显著的性能优势。

    Mar, 2023

  • RetGen: 一个检索和基于生成式文本生成的联合框架模型

    通过联合训练基于语言模型信号的基于文档检索器的生成器及检索器来生成更具信息含量和相关性的文本。

    May, 2021