- 通过视频扩散学习 3D 高斯函数的物理特性
通过视频扩散模型学习 3D 对象的各种物理属性,设计了一种高度通用的基于粘弹性材料模型的物理仿真系统,通过蒸馏视频扩散模型中的物理先验知识,证明了物理 3D 在虚拟环境中应用真实物理原理的能力。
- 造型现实:利用制作约束增强三维生成人工智能
生成 AI 工具在 3D 建模中变得更加普遍,使用户能够通过文本或图像进行模型操作或创建,从而更轻松地快速定制和迭代 3D 设计,探索新的创意。然而,当创建用于制造的 3D 模型时,设计师需要在美学品质和结构约束之间进行权衡。本研究提出了对 - CVPR基于语言嵌入特征场的物性理解
计算机通过视觉能否感知物体的物理属性?我们提出了一种利用图像集合对物体的物理属性进行密集预测的新方法,通过借鉴人类如何通过视觉进行物理推理的方式,利用大型语言模型为每个物体提出候选材料,然后构建一个嵌入语言的点云,并利用零样本核回归方法估计 - LeTac-MPC:学习型模型预测控制在触觉反应抓取中的应用
LeTac-MPC 是一种基于学习的模型预测控制(MPC)方法,通过利用视觉基于触觉传感器 GelSight 的高分辨率触觉反馈,实现了对不同物体物理特性的动态和力交互任务中的稳健抓取控制。
- PhyGrasp: 基于物理信息的大型多模态模型的机器人抓取泛化
将物理常识推理融入机器人操作,通过 PhyGrasp 模型结合自然语言和 3D 点云输入,实现对对象的物理属性准确评估和最优抓取位姿决策。模型的语言理解能力使其能够解释人类指令,并生成符合人类偏好的抓取位姿。在长尾场景中,PhyGrasp - 实时基于模型的定量超声和雷达
基于波传播物理模型的神经网络可以在不到一秒钟的时间内针对复杂和现实场景,只使用八个元素的数据,重构多种物理性质,并对雷达和超声信号的有效性进行了验证。
- ContPhy: 从视频中学习和推理连续物理概念
我们引入了连续物理数据集(ContPhy),这是一个用于评估机器物理常识的新型基准。通过涵盖不同场景中的多样化物理属性推理以及对应的动力学预测,ContPhy 补充了现有的物理推理基准。我们评估了一系列 AI 模型,并发现它们在 ContP - 通过信念空间控制学习主动触觉感知
机器人在开放环境中操作时,会遇到未知的物理特性的新对象,需要通过交互来感知这些特性,并利用生成的世界模型来估计物体的物理参数,并开发一种信息收集模型预测控制器,以自主学习触觉探索策略。我们的研究在虚拟环境中评估了这种方法,发现我们的方法能够 - Physion++:对需要在线推理不同物理属性的物理场景理解进行评估
提出了一种名为 Physion++ 的数据集和评测基准,旨在严格评估视觉物理预测在人工系统中的表现,其中预测依赖于对场景中物体的潜在物理属性的准确估计,结果发现,所有现有的先进模型都没有像人类一样学习进行物理预测。
- NeuS-PIR: 使用预积分渲染学习可重新照明的神经表面
本文提出了一种新方法,使用预积分渲染有效地学习可重构的神经表面,同时在神经隐式场内学习几何、材料和照明等物理属性,并在协作上进行优化,实现了在合成和真实数据集中超越现有技术的效果。
- 使用接触隐式双层优化实现强健的枢转操纵
本文研究在不确定性条件下,使用鲁棒优化进行支点式操作规划,并探讨摩擦力是如何被利用来补偿对象的物理属性准确性不足所带来的不确定性。通过使用分析表达式为支点式操作提供稳定性保障,并在 CIBO 框架中使用稳定边界进行优化,从而提高鲁棒性。我们 - EMNLPCRIPP-VQA: 通过视频问答进行关于隐含物理属性的反事实推理
介绍了 CRIPP-VQA 数据集,该数据集包含具有物理性质的场景中物体运动的视频并配有各种类型的问题,强调了隐含属性问题和明确属性问题的巨大性能差距。
- ECCV图腾:用于验证视觉完整性的物理对象
该论文介绍了一种新的图像取证方法:在场景中放置物理折射物体 Totems,以保护该场景的任何照片,并利用物理 Totems 的折射作用和已知的几何和物理性质来检测图像是否被修改,无需训练特定数据集,从而解决了取证问题。
- EDO-Net: 学习可变形物体的弹性属性,来自于图动力学
研究弹性物理性质潜在表示在图动力学学习中的应用,提出了 EDO-Net 模型将自适应模块和前向动力学模块结合,通过拉力交互实现对不同弹性物质的学习和预测,并在仿真和实际世界中进行了测试和验证。
- 利用 X 射线微观断层扫描仪进行地质样本的孔隙度和渗透率预测的 AI 技术
利用自监督预训练非常小的 CNN-transformer 模型来预测地层岩石的物理性质,具有高准确度且时间有效,可避免使用极小数据集的过度拟合。
- 面向物理无关对象的元学习再抓取策略
本文介绍了一种基于视觉的元学习算法 DexNet-CNP,通过条件神经过程来学习不同物理特性进行抓取,模型在各种物体上的测试结果优于 DexNet-2.0。
- DIPN:深度交互预测网络及其在杂波去除中的应用
利用深度学习实现的 DIPN 网络可以预测机器人末端执行推动动作时多种物体特性的复杂相互作用,可在真实或虚拟环境下高效学习,与 Grasp 网络结合后,可自主完成清理乱堆物品等任务,取得显著优于其他模型的表现。
- 通过与物体交互学习物体
通过与 AI2-THOR 环境的互动,实现基于人类婴儿学习机制的计算框架,不依赖外部监督学习,从而有效地发现物体并学习物理特性。
- ICLR反弹与学习:使用真实反弹建模场景动态
通过学习从传感器输入到预测反弹轨迹并推断控制反弹的两个基本物理参数的模型,我们在传统场景中引入了一种模拟表面特性的方法,并提出了一个名为 Bounce and Learn 的模型,该模型由物理推理模块(PIM)和视觉推理模块(VIM)组成。 - 可解释的直觉物理模型
本文提出了一种可解释理解物理模型,其中瓶颈层的特定维度对应不同的物理属性,利用此模型我们对不同形状的碰撞进行了训练,并对不同类型的场景进行了推理,结果表明该模型能够很好地解释物理现象并进行泛化。