据外媒报道,Facebook人工智能部门发布了关于其“Ego4D”项目的一些成果。这项研究与“9个国家的13所大学和实验室组成的联盟”合作,共同收集了 “2200个小时的户外第一人称视角视频,其中有700多名参与者正在进行他们的日常生活”。


facebook-ego3d-1280x720.jpg


在这项研究中,与Facebook AI合作的研究人员的目的是开发“从这个角度理解世界”*的人工智能,以便他们能够“开启一个沉浸式体验的新时代”。他们正在具体研究增强现实(AR)眼镜和虚拟现实(VR)头显将如何“在日常生活中变得像智能手机一样有用”。



*研究人员在这里指的是第一人称视角。他们用第一人称视角拍摄的视频来工作,而不是通过视频和照片来训练人工智能的正常视角:第三人称视角。


研究人员为这个项目列出了五个"基准挑战",有效地展示了他们正在追踪的内容。要清楚的是:Facebook并没有通过真实的现场设备来追踪这个项目的数据--现在还没有。这些都是通过Facebook AI为这个项目获得的第一人称视角视频进行追踪。


  • - 事件记忆:什么时候发生了什么?


  • - 预测:我接下来可能会做什么?


  • - 手和物体的操作:我在做什么?


  • - 视听日记:谁在什么时候说了什么?


  • - 社会互动:谁在与谁互动?


根据Facebook AI的说法,他们对这一主题的研究与一个数据集合作,该数据集"就录像的小时数而言"比其他任何数据集都要大20倍。正是通过Facebook AI的Ego4D项目公告,这一信息才得以公开。



有关这个项目的研究论文《Ego4D: Around the World in 3,000 Hours of Egocentric Video》已在arXiv发表。