MIT CSAIL的AI可以仅从视频片段中重建隐藏的动作

发布时间：2019-12-19 11:30:10 【来源：】

眼看周围的角落，并通过墙壁是旧帽子AI和机器学习算法，这是在系统(其中一些使用激光器)产生图像的视线外的心脏。但是，在没有特殊设备的情况下重建隐藏对象更具挑战性的任务呢?

麻省理工学院计算机科学与人工智能实验室的研究人员说，他们正是以此为基础开发出来的。他们的系统(可以在本周发布的预印本中列出)可以从观察到的混乱中的阴影和反射中重建隐藏的视频。只需打开房间中的摄像机，它就可以“看见”拐角处的拐角，即使这些拐角(以及实景表演)落在摄像机视野之外。

这是在2017年和2018年发布的初步工作的基础上进行的，该工作受到场景中光量的限制，并由于照明条件的变化而跳闸。根据研究团队的说法，该系统的当前迭代具有更广泛的通用性和更强大的功能。

秘密调味料是一种算法，可以预测光在场景中的传播方式(这种现象称为光传输)。事实证明，一堆物体的行为就像针孔相机一样，因为它阻挡了某些光线，同时又允许其他光线通过，从而在光线照射到的地方绘制了周围的图像。但是，尽管针孔照相机只能让许多光线穿过，以形成可读的图像，但一堆杂乱的图像却产生了无法识别的混乱图像。

为了对图像进行解读，团队使用了与真实世界中真实的阴影和阴影相对应的模式，并且他们利用了AI算法自然更喜欢表达“类似图像”的内容这一事实，即使他们从未受过训练也是如此。。为此，研究人员的系统同时训练两种机器学习模型-一种产生加扰模式，另一种估计隐藏视频。当多种因素的组合再现了从混乱中录制的视频时，两者会得到奖励，从而驱使他们用合理的隐藏数据来解释观察结果。

为了测试他们的方法，研究人员将物体堆放在一堵墙上，然后放映视频或物理移动到另一堵墙附近。由此，他们能够重建视频，从而传达出对正在发生的隐藏运动的大致了解。

这绝不是完美的-重建过程大约需要两个小时才能产生-但是研究人员认为，该系统有一天可以使“社会的许多方面”受益。例如，无人驾驶汽车可以更好地了解在角落里出现的情况，并且搜索救援机器人可以以更高的鲁棒性导航危险或障碍物区域。实际上，十月份，麻省理工学院的CSAIL研究人员提出了一种称为ShadowCam的自动驾驶汽车系统，该系统使用类似的技术来检测和分类地面上的阴影。

上一篇：AiMOS超级计算机将专注于AI研究
下一篇：用AI设计的第二代机器人将宇航员公司留在国际空间站