本文介绍了一种端到端的无监督深度学习框架,基于录制的视频可以揭示物体运动的明确控制方程,在物理坐标系中建立其物理规律,并通过数值积分器和稀疏回归模块,同时解决了文献中尚无现有方法适用的问题,并成功地应用于几个动态系统的记录。
May, 2022
本研究提出使用可微的物理引擎在行动条件下的视频表示网络中学习物理潜在表示。我们使用监督和自监督学习方法来训练我们的网络,并确定物理属性。实验中,我们演示了我们的网络可以从视频和行动序列中学习编码图像并识别物理属性,我们还比较了我们的受监督和自我监督方法的准确性,并展示了我们的方法预测未来视频帧的能力。
Sep, 2020
本研究介绍了第一种使用大规模预训练的符号回归方法,通过生成一组不受限方程式并使用 Transformer 预测输入输出对应的符号方程,提高了方程式发现的效率和准确性。
Jun, 2021
本文提出了一种基于物理 - 逆向图像学的方法,可以从视频中无监督地估算系统的物理参数,实现长期视频预测和基于视觉的模型预测控制,并在交互物体系统的长期未来帧预测中显著优于相关无监督方法,还实现了控制器的可解释性提供了独特的能力在目标驱动控制和物理推理方面的零数据适应。
May, 2019
本文介绍了一种用于无人监督学习序列数据的框架 ——Kalman 变分自编码器,该框架在描述视频中的动态变化时不使用构成其帧的像素空间,而是用一个描述其物体非线性动态的隐藏空间。该模型在各种模拟的物理系统视频中进行端到端训练,在生成和缺失数据输入任务方面优于竞争方法。
Oct, 2017
我们提出了一种物体为中心的模型,使用图神经网络中的对比学习在潜在空间中预测未来的状态,并注入了显式归纳偏置以帮助提高模型的预测准确性。我们的模型不仅可捕捉物体交互作用,而且能够提高物体位置的定位能力,且实验表明我们的模型在多个领域中具有显著的优势。
Jul, 2021
本文介绍一种基于稀疏回归和自编码器的算法,通过在简化空间中寻找非线性系统的动力学描述,实现了均衡模型复杂性和描述能力,同时提升了解释性和推广能力,同时在多个高维非线性系统中测试了该方法的优势。
Mar, 2019
本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征,通过训练神经网络来区分不同的时间变换的视频序列,使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明,可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。
Jul, 2020
提出了一种利用可微分的 CGP 编码进行多目标进化搜索的 MEMETIC 算法,以学习回归方程中的数值常量,在火星探测器热功率估算和通过陀螺定年法确定恒星年龄两个应用中,该方法显示出与机器学习的黑盒回归模型或手动匹配方法同等或更高的性能。
Jun, 2022
开发了一个动作条件视频预测模型,能够显式地模拟像素运动,从而学习关于物理对象运动的知识。同时,模型对对象外貌部分不变,可对以前未见过的对象进行推广。我们介绍了一个包含推动动作的 59,000 个机器人交互数据集,包括一个具有新颖对象的测试集。实验结果表明,与现有方法相比,我们的方法在定量和定性方面都能更准确地预测视频。
May, 2016