- 从最少到最多:通过数据合成构建即插即用的视觉推理器
我们探索了视觉 - 语言模型中的多步推理问题,并提出了一种新的数据合成方法,通过使用先生成较简单的子任务,并依赖开源模型来完成这些子任务,从而构建了 50000 个视觉推理示例,并通过监督微调开发了一种视觉推理器,可以显著改善四个视觉问答基 - CCSI:连续类别特定印象的无数据类别递增学习
提出了一种新的无数据增量学习框架,通过学习类别的数据综合代替先前类别的数据存储,在引入新类别时更新网络;关键创新包括获取以往无法获取的类别的合成数据(称为 Continual Class-Specific Impression - CCSI - JiuZhang3.0:通过训练小型数据合成模型高效提升数学推理能力
基于 GPT-4 的数据合成能力,我们提出了一种通过训练小型语言模型来合成数学问题,以高效生成足够高质量的预训练数据的有效方法,并在数学推理数据集上展现了最先进的性能。
- WheelPose: 提高轮椅使用者姿态估计性能的数据综合技术
通过数据合成管道,使用动作捕捉数据和在 Unity 游戏引擎中模拟的动作生成输出生成轮椅用户的合成数据集,进而改善轮椅用户姿态估计性能。
- 在法律案例检索中利用大型语言模型进行相关判断
利用大型语言模型进行相关判决的准确性研究,提出了一种适用于法律案例相关判决的新型工作流程,并通过与人工专家判断的比较,证明了该工作流程可以获得可靠的相关判决,并通过大型语言模型生成的数据综合增强现有的法律案例检索模型的能力。
- HandBooster: 通过条件合成和手物交互的采样提升 3D 手部网格重建
通过训练具有条件生成空间的扩散模型,合成多样的内容感知条件,并有目的地抽样该空间来合成有效的数据样本,实现增加数据多样性并提升三维手部网格重建性能。
- 野外三维形状重建的目标中心域随机化
通过领域随机化技术,我们提出了 ObjectDR 方法,通过对物体外观和背景进行随机模拟的方式,通过条件生成模型生成符合特定空间条件的图像,并通过预训练改进了现有的三维形状重建模型。
- LeFusion:基于病灶聚焦扩散模型合成心脏磁共振图像上的心肌病理
数据综合通过提出的基于病变聚焦扩散模型(LeFusion)来缓解医学影像综合中的挑战,该模型能够将病变区域与背景上下文进行有效分离,从而增强对合成输出的控制能力。实验证实,这种综合数据的方法能够有效地提升当下最先进模型在 DE-MRI 心脏 - DreamDA: 用扩散模型进行生成型数据增强
该论文提出了一个新的基于扩散模型的分类导向框架 DreamDA,通过考虑训练图像中的原始数据作为种子并扰动其反扩散过程,DreamDA 生成符合原始数据分布的多样样本,并引入自训练范式生成伪标签和使用合成数据训练分类器,在四个任务和五个数据 - Book2Dial: 从课本中生成师生互动,实现高性价比的教育聊天机器人开发
我们提出了一个用于生成基于教科书的综合教师 - 学生互动的框架,通过借助合适的数据合成方法来训练教育聊天机器人,同时对数据的大小和质量进行平衡以解决幻觉和重复信息的问题。
- MovieLLM:使用 AI 生成的影片增强长视频理解能力
MovieLLM 提出了一种新颖的框架,利用 GPT-4 和文本到图像模型生成详细的脚本和对应的视觉,从而创造出长视频的合成高质量数据。该方法通过解决数据稀缺和偏见等问题,显著提高了多模态模型对复杂视频叙事的理解能力,克服了现有数据集的限制 - 朝向基于原则的表格数据合成算法评估
利用扩散模型和大型语言模型的新型综合器进行对比评估,提出了一套评估指标,旨在解决现有评估指标的局限性,并为调优提供了普遍目标,以保护数据隐私和提高合成数据的质量。
- IGNITE:时间序列电子健康记录的个体化填补生成
我们提出了一个新的深度学习模型 IGNITE,利用条件双变分自编码器和双阶段注意力,在多元数据上学习了时间上的患者动态变化,生成个性化的真实值,根据个体的人口特征和治疗条件调节。我们进一步扩展了 IGNITE 的应用范围,从填补缺失值发展为 - 具有统计质量保证的调整数据合成
通过引入一种基于置信度的数据合成算法,该算法通过对 Conformal Prediction 框架进行新的扩展,为模型输出提供统计置信度保证,并通过理论证明和对五个基准数据集的广泛实证评估来支持我们的算法。在面对低样本数、类别不均衡、不可分 - 利用循环一致性生成对抗神经网络合成双向时间状态的膝关节骨关节炎 X 光影像
在这项研究中,我们训练了一个 CycleGAN 模型,能够将真实射线片转化为不同的骨关节炎阶段,通过欺骗一个卷积神经网络在转化后的图像中错误分类疾病阶段,证明了 CycleGAN 有效地在时间上向前或向后转化疾病特征。该模型在合成未来疾病状 - EMNLP迭代式数据集合成:从小型模型推测错误实现大型语言模型的数据集合成
通过使用大型语言模型来进行数据合成,我们提出了一种名为 “Synthesis Step by Step (S3)” 的数据合成框架,该框架通过迭代地使用大型语言模型对小型真实验证数据集上的小型模型合成数据集中的错误进行外推,从而缩小合成数据 - ACL基于合成数据训练生成型问答模型
通过使用一种简单且经济高效的方法来合成数据以训练问答系统,本文提供了一种在资源丰富的英语等语言中常用的微调 GPT 模型的培训方法,并提出了一种零样本或少样本情况下使用指导调优模型生成 QA 对的方法,并通过实验比较了从指导调优模型获得 Q - 语音拼贴:通过拼贴单语语料库的混合交替生成语音
本文介绍了一种通过拼接音频片段从单语语料库中合成 Code-Switching 数据的 Speech Collage 方法,并通过重叠添加方法提高音频生成的平滑度。我们研究了生成的数据对语音识别的影响,在使用领域内 Code-Switchi - 卫星图像生成对抗网络潜空间解释的局部保持方向
本篇论文介绍了一种基于小波生成对抗网络(GANs)的局部感知方法,可以捕捉卫星图像中具有大尺度和光谱变异性的特征,并通过保留局部性来恢复可解释的高级语义概念方向,用于卫星图像的引导合成和数据增强。使用定量和定性示例证明了该方法在数据合成和卫 - 在差分隐私下生成表格数据集
优化生成模型的质量和隐私之间的平衡,通过引入关注机制学习可逆的表格表示和差分隐私扩散模型来合成高质量的表格数据。