Feb, 2024

BIKED++：一个包含 140 万张自行车图像和参数化 CAD 设计的多模态数据集

PDF
TL;DR该论文介绍了一个公共数据集，其中包含了 140 万个以参数方式表示的、程序生成的自行车设计，以 JSON 文件和栅格化图像形式提供。该数据集的创建依赖于一个渲染引擎，该引擎利用 BikeCAD 软件从参数化设计生成矢量图形。论文讨论了这个渲染引擎，并与数据集一起公开发布。尽管该数据集有众多应用，主要动机之一是需要训练参数化和基于图像的设计表示之间的交叉模态预测模型。例如，我们演示了可以训练预测模型，直接从参数化表示准确估计 Contrastive Language-Image Pretraining (CLIP) 嵌入。这样可以建立参数化自行车设计与文本字符串或参考图像之间的相似性关系。已公开发布了训练好的预测模型。该数据集是 BIKED 数据集系列的一部分，包括数千个混合表示的人工设计自行车模型和几个量化设计性能的数据集。代码和数据集可以在 this https URL 找到。
public datasetprocedurally-generated bicycle designsparametric designcross-modal predictive modelscontrastive language-image pretraining (clip) embeddings
发现论文，激发创造
  • ABC: 一个大型 CAD 模型数据集，用于几何深度学习

    介绍 ABC-Dataset，这是一个由一百万个计算机辅助设计 (CAD) 模型组成的数据集，可以用来研究几何深度学习方法和应用，其中每个模型均由显式参数化的曲线和曲面组成，可提供微分量、裂缝分割、几何特征检测和形状重建等方面的真实数据，还可在不同的格式和分辨率下生成数据，为广泛的几何学习算法提供了公正的比较基准，并在数据集中进行规模庞大的曲面法线估计基准测试，比较现有的数据驱动方法及其与地面实况和传统法线估计方法的性能。

    Dec, 2018

  • RaBit: 使用拓扑一致的数据集对 3D 双足卡通角色进行参数建模

    本文介绍了 3DBiCar 和 RaBit，它们分别是首个大规模的 3D 双足卡通人物数据集和相应的参数化模型。基于数据集，RaBit 采用类似 SMPL 的线性融合形状模型和基于 StyleGAN 的神经 UV 纹理生成器，同时表达形状、姿势和纹理，并在单视图重建、基于草图的建模和 3D 卡通动画等多个应用方面展示了实用性。

    Mar, 2023

  • 用于深度学习应用的参数化 U 形弯管流数据集

    该研究提供了一个包含 10,000 个流体流动和热传递模拟的数据集，这些模拟均采用计算流体力学方法进行处理，并由 28 个设计参数描述。该数据集提供了一个全面的基准，可以用于研究设计优化领域的各种问题和方法。

    May, 2023

  • 利用合成数据进行受损物体再识别：扭曲的自行车

    此论文提出了损坏物体重新识别的新任务，使用计算机生成图像探索该任务，并提出了一种多任务、基于转换器的深度网络 ——TransReI3D 作为基线。

    Apr, 2023

  • 用语义相关的图片替换文本构建多模式对话数据集

    本文提出创建一种包含图像的 45k 多模态对话数据集的方法，该方法通过准备、预处理文本对话数据集、使用文本转图像技术创建混合图像对话，以及利用基于上下文相似性的过滤步骤确保数据集的上下文一致性。自动度量和人类评估结果表明，我们的数据集可以有效地用于多模态对话系统的训练，需要以上下文感知的方式理解图像和文本。

    Jul, 2021

  • DialogCC：大规模多模态对话数据集

    本文介绍了一种基于 CLIP 相似度的多模态对话数据集创建管道，使用这个管道，我们提出了一个大规模的多模态对话数据集 DialogCC，并且通过广泛的实验结果表明，使用我们的数据集训练多模态对话模型可以改善泛化性能，与此同时，使用我们的数据集训练的现有模型在图像和文本检索任务上取得了最先进的表现。

    Dec, 2022

  • Fusion 360 图库：人类设计序列的程序化 CAD 构建数据集和环境

    本文介绍 Fusion 360 Gallery 数据集及 Fusion 360 Gym 环境，前者包含 8,625 个人类设计序列，后者将 CAD 程序的构建过程转化为马尔可夫决策过程，以便机器学习的研究。作者使用神经引导搜索等先进技术，应用数据集和环境进行 CAD 重构，取得了良好成果。

    Oct, 2020

  • PedX：在复杂城市交叉口中进行行人度量 3D 姿态估计的基准数据集

    本文介绍了一个名为 PedX 的新数据集，它是一个大规模的多模态数据集，包含超过 5,000 个高分辨率（12MP）的立体图像和 LiDAR 数据，并提供行人的 2D 和 3D 标签。我们还提出了一种新颖的 3D 模型拟合算法，用于自动化 3D 标记，利用不同模式和新颖形状和时间先验的约束。同时，我们还展示了手动 2D 标签可以被最先进的自动标记方法替换，从而促进大规模数据集的自动生成。在控制的户外环境中配置 mocap 系统以模拟城市交叉口的行人时，我们还将所有标注的 3D 行人定位到实际世界度量空间，并使用此系统验证了生成的 3D 模型。

    Sep, 2018

  • LAION-400M：CLIP 过滤的 4 亿张图文对开放数据集

    这篇文章介绍了一个公共的数据集 LAION-400M，包含了 CLIP 过滤后的 4 亿对图片 - 文本配对、它们对应的 CLIP 嵌入以及 kNN 索引，能用于训练多模式语言视觉模型，进行零样本或少样本学习和迁移。

    Nov, 2021

  • DrivAerNet++: 大规模多模式汽车数据集与计算流体动力学模拟和深度学习基准

    DrivAerNet++ 是用于空气动力学汽车设计的最大和最全面的多模式数据集，支持包括数据驱动设计优化、生成建模、代理模型训练、CFD 模拟加速和几何分类等多种机器学习应用，填补了现有资源的显著差距，提供高质量、多样化的数据以增强模型训练、促进推广和加速汽车设计流程。

    Jun, 2024