TaCOS: 任务特定仿真相机优化
本研究提供了两种新方法来估计相机和全局姿态传感器之间的准确可靠的时空校准参数。第一种是高精度和一致性的离线基于目标的方法,通过同时优化时空参数、摄像机内参和轨迹。第二种是无需标定目标的在线方法,实现了估计时空参数的时变性,并进行了详细的可观测性分析,从而为校准提供了可解释的指导原则。最后,通过手持实际数据集的评估,验证了两种方法的准确性和一致性,这些数据集在传统手眼校准方法中无法工作。
Mar, 2024
本研究提出了一个基于模型的优化框架,用于从加工样本的空间频率响应中构建代理相机,进而为训练基于学习的算法提供光学畸变和随机制造偏差的合成数据对,并利用超扩张全方位动态卷积来纠正制造降解,从而实现全面的计算摄影。
May, 2023
该研究提出了一种低成本无需昂贵传感器,即可通过学习眼手协调和点对齐能力的方法解决机器人精密操作任务的算法 Binocular Alignment Learning,该算法在仿真和实际机器人测试中都达到了良好的性能。
May, 2022
提出了一种基于自监督学习和直接在线优化的方法,通过将三项传感器(相机,雷达和激光雷达)的物理特性和语义信息,综合校准实现无目标的校准,以实现安全可靠的自动驾驶技术。
Jun, 2022
我们探讨了密集跟踪作为一种表征工具,使机器人能够更快、更通用地从示教中学习,并展示了通过密集跟踪生成的稳健机器人策略能够解决复杂的物体排列任务,如形状匹配、堆叠,甚至全路径跟踪任务,如涂胶并粘合物体,这些示教仅需数分钟即可收集。
Aug, 2023
本文提出了一个可微分端到端框架来优化接触感知机器人设计的两个关键部分:一种新颖的变形参数化方法和一个可处理联系丰富情况和计算全谱运动和动态参数分析梯度的可微刚体模拟器,在多个操作任务中,我们的框架胜过了使用其他表示形式优化控制或设计,或使用无梯度方法进行共同优化的现有方法的情况。
Jul, 2021
本文介绍了使用基于物理渲染技术的全面一般的光学触觉模拟系统,实现了高质量的图像相似度度量,其开源代码和实验数据均可在此 https URL 获得。
Dec, 2020
本文提出了使用端到端的控制方法和领域随机化训练卷积神经网络,实现机器人对多阶段任务的执行。结果表明,此方法在真实环境中能够成功执行任务并推广到新环境。
Jul, 2017
实现安全可靠的自动驾驶车辆开发的关键是逼真的模拟。传感器模拟是其中的核心组成部分,可以在模拟中测试整个自主系统。然而,目前的基于传感器数据的自动重建方法在野外数据的稀疏性和噪声方面存在问题。为了解决这些问题,我们提出了 CADSim 方法,它通过小量 CAD 模型的部件感知目标类别先验和可微分渲染来自动重建包括有良好真实感的车辆几何形状,包括关节轮。我们的实验证明,与现有方法相比,我们的方法可以更准确地从稀疏数据中恢复形状,并且训练和渲染效率高。我们在几个应用中展示了我们重建的车辆,包括对自主感知系统的准确测试。
Nov, 2023
本文介绍一种基于一致性损失的计算机视觉多任务联合训练框架,充分利用多任务之间的内在关联性,实现对多个关联任务的同时训练及性能提升,并且减少数据标注的需求,支持无监督学习和模拟数据训练。测试结果表明,该框架在深度 / 法向量预测、语义分割、3D 运动 / 自身运动估计、点云物体跟踪和 3D 检测等任务上,皆有显著提升。
May, 2020