CVPRDec, 2014

材料在自然环境中的识别：基于上下文材料数据库

PDF
TL;DR本文介绍了一个新的、大规模、开放的野外材料数据库（Materials in Context Database，MINC），并结合深度学习，在野外图像中实现材料识别和分割。使用 MINC，我们训练了卷积神经网络（CNN）进行两个任务：对补丁分类的材料分类和在完整图像中同时进行材料识别和分割。通过在 MINC 上进行补丁分类，我们发现表现最好的 CNN 架构可以实现 85.2% 的平均分类准确度。我们将这些训练好的 CNN 分类器转换为高效的完全卷积框架，再结合完全连接的条件随机场（CRF）来预测图像中每个像素的材料，达到 73.1% 的平均分类准确度。我们的实验表明，在野外材料识别和分割中，拥有一个大型的、经过充分采样的数据集（如 MINC）至关重要。
materials recognitionminc datasetdeep learningconvolutional neural networkssegmentation
发现论文，激发创造
  • 材料识别的深度特征集成

    本文提出了一种通过计算 CNNs 提取的特征的不确定性来选择和集成该图像中最佳表示的功能，从而实现基于不同物体材料的图像数据集的材料识别，实验结果表明该方法在材料识别方面表现出最先进的性能，并通过 EFMD 数据集的传递学习更新 CNN 模型，实现了接近人类表现的结果。

    Nov, 2015

  • 一份 4D 光场数据集及用于材料识别的 CNN 架构

    介绍了一个新的光场数据集，并利用深度学习在 4D 光场上进行材料识别。实验中，最佳表现的 CNN 架构相比 2D 图像分类提高了 7％（从 70％到 77％），这些结果构成了对 CNN 应用于光场应用的重要基线。

    Aug, 2016

  • 几何计算辅助的材料识别

    本研究旨在以图像和几何信息为基础来识别材料类别。我们提出了一个新的数据集来研究如何使用 3D 几何信息和 2D 特征来提高材料分类的准确性，并且结果表明联合和独立地使用 2D 和 3D 特征来模拟材料可以提高材料分类的准确性。

    Jul, 2016

  • 纹理识别与分割的深度卷积滤波器组

    本文介绍了一种基于卷积神经网络（CNN）的新型纹理描述符 D-CNN，并在嘈杂的环境下完成了纹理和材料识别，并实现了 81.1% 至 82.3% 的识别准确率，显著提高了现有方法的性能。

    Nov, 2014

  • 学习面向材料感知的三维形状局部描述符

    通过拍摄来自不同视角的 3D 点的表征，利用投影卷积神经网络架构来学习物质感知描述符，从而实现物质感知的 3D 形状分析，并且通过众包的方式构建了一个 3D 形状数据集，证明了其学习描述符在自动纹理、物质感知检索和物理模拟中的有效性。

    Oct, 2018

  • 通过在合成数据中嵌入自然图像模式学习零样本材料状态分割

    通过在合成数据中嵌入从真实世界图像中提取的图案，我们提出了一种方法来弥合真实世界和合成数据之间的差距，从而使生成的数据能够捕捉到真实世界的复杂性，并保持合成数据的精度和规模。我们还提出了一个类别无关的材料状态分割的基准，其包含各种材料状态的真实世界图像，如烹饪、食物、岩石、建筑、植物和液体等。在此任务上，我们展示了 MatSeg 网络在训练中明显优于现有的最先进方法。

    Mar, 2024

  • 学习多尺度表示用于材料分类

    研究利用多尺度编码过程中的规模信息，将特征学习用于材料识别，结果表明我们的所学特征优于手工描述符。

    Aug, 2014

  • Materialistic: 在图像中选择相似的材料

    本文提出了一种能够分离图像中材质相似区域的方法，并在合成图像数据集中进行了验证，证明了其在实际应用中的有效性，可用于材质编辑、视频中的选择和检索具有相似材质的物体照片。

    May, 2023

  • OpenMaterial: 用于 3D 重建的复杂材料的全面数据集

    利用物理基础渲染和实验室测量的折射率，生成高保真度的多视角图像，我们引入 OpenMaterial 数据集，包括 295 种不同材料制成的 1001 个物体，并在 723 种不同的照明条件下采集。OpenMaterial 提供了全面的标注，包括 3D 形状、材料类型、相机姿态、深度和物体掩码。作为首个大规模数据集，它使得对具有多样且具有挑战性材料的物体上现有算法进行定量评估成为可能，从而为处理复杂材料属性的 3D 重建算法的发展铺平了道路。

    Jun, 2024

  • 使用触觉和视觉信息的深度学习表面材料分类

    本文提出了一种基于全卷积神经网络（FCN）的表面材料分类的深度学习方法，该方法利用了手持工具在物体表面运动时捕捉到的加速度（haptic signal）信号和对应的表面纹理图像作为输入，相比之前基于手工设计的领域特定特征的分类方法，我们的方法利用先进的深度学习技术自动提取区分特征，实验表明这种方法具有鲁棒性和高效性，且得到了 TUM 表面材料数据库中最先进的分类准确度。

    Dec, 2015