您现在的位置:融合网首页 > 工信 > 网络视频 >

MIT对抗学习和无监督学习:机器创作视频 预测人类行为

来源:新智元 作者:新智元 责任编辑:方向 发表时间:2016-11-30 15:15 
核心提示:视频包含了日常生活的常见场景,以让机器更好地适应正常的人类交流行为。更重要的是,这些视频是“野生”的,也就是说,它们都是非标签的。简单地说,就是研究员不会给算法提供理解视频内容的任何线索。

LeCun曾在演讲中提到,2016年深度学习领域最让他兴奋的技术莫过于对抗学习,而无监督学习一直都是人工智能研究者孜孜追求的“终极目标”之一。MIT计算机科学和人工智能实验室的研究员们在本年度的NIPS上提交了结合对抗学习和无监督学习两种方法的研究——让计算机在观看了200万条视频后自动“创作”视频内容,结果非常逼真。研究所开发的深度学习神经网络也可以直接用到现有的图片和视频中,把静态图片变成动态视频,并且对人类的动作具有一定的判断和预测能力。

MIT计算机科学和人工智能实验室(CSAIL) 的研究员开发了一个深度学习算法,能够自动生成视频,并预测出接下来的视频内容。

研究成果论文将在下周在巴塞罗那举行的 NIPS ( Conference on Neural Information Processing Systems )上发表。CSAIL 的研究团队让该算法观看了200万条视频,这些视频加起来如果要回放的话,需要2年的时间才能播完。

视频包含了日常生活的常见场景,以让机器更好地适应正常的人类交流行为。更重要的是,这些视频是“野生”的,也就是说,它们都是非标签的。简单地说,就是研究员不会给算法提供理解视频内容的任何线索。

在这一视频数据集的基础上,算法将基于200万条视频中获得的观察,尝试从零开始生成视频,这和人类创作视频的步骤是一样的 。随后,生成的视频会被填入另一个深度学习算法中,新的算法负责判断哪些视频是机器生成的,哪些是“真实”的。这种训练机器的方法叫对抗式学习(adversarial learning)。

研究使用的神经网络工作原理

计算机视觉研究领域中,许多研究者都在攻克类似的问题,其中就包括MIT的教授 Bill Freeman,他在”视觉动态“(visual dynamics)领域的工作也能提前创造出视频中下一帧。但是,他的模型聚焦于推断性的视频,Torralba 的视频能够生成全新的视频,这些视频内容此前是从未讲过的。

此前的系统都是一帧一帧地创建场景,这会带来巨大的失误概率,这项研究聚焦于一次处理整个场景,算法每秒生成32帧图像。”一帧一帧地创建场景,意味着信息是被分成很多块的“,Vondrick 说,”我们采用同时预测所有帧的方法。“

当然,一次生成所有的帧也有缺点:在变得更精确的同时,长视频中的计算机模型会变得更加复杂。

为了创建出多帧的效果,研究者教会模型在不受背景的影响下生成前景,然后,把对象放到场景中,让模型学习哪一个物体是移动的,哪一个不动。团队使用了”对抗学习“的方法,在多次尝试后,生成器学会如何”欺骗“区分器(discriminator)。

“双流架构”,生成视频更逼真

在这一模型的早期原型中,我们的发现是,生成器(也就是神经网络)会改变背景或者在背景中加入异常的动态图片,来尝试欺骗其他的网络“,CSAIL 博士候选人、论文第一作者Carl Vondrick说,“我们需要告诉模型一个概念,那就是现实世界在大多数情况下都是静态的。”

为了改正这一问题,Vondrick和他的同事创造了一个“双流架构”(two-stream architecture),这一架构会强迫生成的网络在前景中的对象移动时,对静态的背景进行渲染。(责任编辑:方向)

  • “扫一扫”关注融合网微信号

免责声明:我方仅为合法的第三方企业注册用户所发布的内容提供存储空间,融合网不对其发布的内容提供任何形式的保证:不保证内容满足您的要求,不保证融合网的服务不会中断。因网络状况、通讯线路、第三方网站或管理部门的要求等任何原因而导致您不能正常使用融合网,融合网不承担任何法律责任。

第三方企业注册用户在融合网发布的内容(包含但不限于融合网目前各产品功能里的内容)仅表明其第三方企业注册用户的立场和观点,并不代表融合网的立场或观点。相关各方及作者发布此信息的目的在于传播、分享更多信息,并不代表本网站的观点和立场,更与本站立场无关。相关各方及作者在我方平台上发表、发布的所有资料、言论等仅代表其作者个人观点,与本网站立场无关,不对您构成任何投资、交易等方面的建议。用户应基于自己的独立判断,自行决定并承担相应风险。

根据相关协议内容,第三方企业注册用户已知悉自身作为内容的发布者,需自行对所发表内容(如,字体、图片、文章内容等)负责,因所发表内容(如,字体、图片、文章内容等)等所引发的一切纠纷均由该内容的发布者(即,第三方企业注册用户)承担全部法律及连带责任。融合网不承担任何法律及连带责任。

第三方企业注册用户在融合网相关栏目上所发布的涉嫌侵犯他人知识产权或其他合法权益的内容(如,字体、图片、文章内容等),经相关版权方、权利方等提供初步证据,融合网有权先行予以删除,并保留移交司法机关查处的权利。参照相应司法机关的查处结果,融合网对于第三方企业用户所发布内容的处置具有最终决定权。

个人或单位如认为第三方企业注册用户在融合网上发布的内容(如,字体、图片、文章内容等)存在侵犯自身合法权益的,应准备好具有法律效应的证明材料,及时与融合网取得联系,以便融合网及时协调第三方企业注册用户并迅速做出相应处理工作。

融合网联系方式:(一)、电话:(010)57722280;(二)、电子邮箱:2029555353@qq.com dwrh@dwrh.net

对免责声明的解释、修改及更新权均属于融合网所有。

相关新闻>>

    新闻关注排行榜

    热门推荐 最新推荐

    热门关键字

    关于我们 - 融合文化 - 媒体报道 - 在线咨询 - 网站地图 - TAG标签 - 联系我们
    Copyright © 2010-2020 融合网|DWRH.net 版权所有 联系邮箱:dwrh@dwrh.net 京公网安备 11011202002094号 京ICP备11014553号