深度学习让视频监控更聪明

更多猛料?欢迎关注老杳个人微信号:laoyaoshow
来源: eettaiwan   发布者:eettaiwan
热度20票   时间:2017年4月05日 16:29
继云端运算和大数据之后,“深度学习”(deep learning)技术开始接棒成为袭卷资通讯(ICT)产业的第三波浪潮,这对于长久以来缺少能够显著提高先进技术创新的“视频监控”产业来说,无疑是个好消息…

随着无数的智能装置不断撷取大量数据,视频正以风暴之姿袭卷这个世界。无论是透过智能摄影机、CCTV设备,甚至是配备智能摄影机的无人机,用户正以前所未有的规模与速度录制视频。视频产生的庞大数据量已无法有效地以手动处理,“深度学习”(deep learning)技术应运而生。

2015年全球所有新安装的视频监控摄影机平均每天产生566PB的数据量 (来源:IHS)

“深度学习”是一个目前已经看到投入巨大投资和研究的领域,它能够处理和分析大量的视频片段,透过模仿人脑的过程,使用复杂的多层次“深度”神经网络,打造从大量未标记的训练数据中执行特征检测的系统。

深度学习技术在近年来迅速崛起,并对视频监控领域带来显著的影响,特别是在脸部辨识以及人员和物件侦测等应用,它能透过智能化的视频分析技术过滤和处理数据、追踪移动物件、检测异常现象,并产生警示提醒,协助监管单位采取适当的行动。

全球视频监控市场成长放缓

全球视频监控领域已在技术与商业方面发生显著变化。随着高解析视频网络摄影机的成本降低、功能更丰富,一方面为终端用户带来正面效果,并推动视频硬体市场商用化,同时也导致制造商与通路合作伙伴的利润下滑。此外,种种并购行动逐渐减少业界竞争,但也让少数几家公司拥有较大的市占率。

根据IHS Markit预测,全球对视频监控设备的需求将在2017年持续快速成长。但激烈的价格竞争也将延续,市场成长幅度预计将小于7%。IHS Technology安全、消防与楼宇科技亚太研究组资深分析员王玉君表示,“从整个市场空间来看,未来5年全球视频监控销售额的年复合成长率(CAGR)约在6.3%左右。”IHS的数据显示,2016年全球专业安全摄影机的出货量超过一亿台,比2015年成长约14%。但相较于2015年约30%的成长率,成长速度持续放缓。

据王玉君分析,一方面,面对国内外市场的长期成长速度预期下行,各大视频监控厂商正寻求多元化和差异化发展;另一方面,随着视频监控产业不断的技术革新和数据累积,从视频监控的上游晶片厂商,到视频智能分析演算法的软体发展公司,再到视频监控设备厂商和下游的系统整合业者开始围绕着智能分析、物联网(IoT)和巨量数据(Big Data)技术来布局安全产业,期望在产品日趋同质化的竞争中占领未来视频监控技术发展的高地:

从产品来看,虽然视频监控产业整体成长速度不如预期,但某些产品线会远高于市场的平均成长速度。2017年消费类视频监控产品、行动视频监控产品和视频监控企业级储存产品的销售额在全球范围都会保持15%以上的成长。

从服务来看,2017年全球视频云端服务(VSaaS)的销售额会突破9亿美金(不包括安保远端监控服务),未来5年VSaaS销售额的平均年复合成长率将超过18%。

从技术来看,支持H.265技术的网络摄影机在2017年会有爆发式成长。视频智能分析会因为深度学习技术的应用又一次成为产业发展的热点。

安森美(Onsemi)应用工程师中心总监Alvin Chang则看好视频监控产品在大众运输系统、汽车内/外监控、老人/婴儿医疗看护与照顾、智能家庭和民宿产业中的应用前景。例如,随着汽车市场的不断发展,先进驾驶辅助系统(ADAS)或安全驾驶功能的监控需求结合车联网(IoV),以及未来自动驾驶的安全监控需求都正在显著增加。而在网络监控产品价格低廉时及时添购设备对很多商业经营者来说负担并不大,透过此举不但能够确保安全,也提升了从业者与客户之间的便利性。

当视频分析遇见深度学习

视频内容分析对视频监控产业来说并不是什么新事物。但在王玉君看来,尽管2016年全球带有智能分析功能的视频监控设备销售额超过10亿美金,但却只占所有视频监控设备销售额的9%。除了价格因素外,传统智能分析产品的误报率和对安装环境的挑剔都是阻碍智能分析被市场大规模应用的因素。

经过几年的市场发展,使用者开始意识到视频智能分析确实可为城市交通治理、公安刑侦和商业管理带来很大价值,因此市场对具备高性能的优质视频智能分析产品是充满期待的,“深度学习”技术在视频监控领域的应用正是在这样的背景下蓄势待发。

深度学习最早是从1980年代的“人工神经网络”演变而来。然而,由于难以正确训练神经网络以及硬体CPU速度太慢等限制而无法实现真实世界应用,这项技术在1980和1990年代起飞。一直到2000年,深度学习研究才开始从美国史丹佛大学、纽约大学以及加拿大多伦多大学等学术界取得突破与业界关注。

根据市调公司Markets and Markets预计,深度学习市场将自2016年以65.3%的年复合成长率(CAGR)成长,预计在2022年达到17.22亿美元的市场规模。深度学习技术将在汽车、金融与视频监控等多个产业发挥巨大的潜力,主要的驱动力道来自于更先进的处理硬体,以及越来越多基于云端技术的深度学习应用。

过去几年来,深度学习已经应用在手写办识、语言翻译、自动游戏(棋弈)游戏、物件分类、脸部辨识、医学成像分析以及自动驾驶车等许多领域。2015年10月,Google电脑程式AlphaGo首次打败专业的人类棋手,更是使用深度学习技术的最佳写照。

一方面,基于GPU架构的深度学习技术使得视频分析演算法的开发效率显著提升,缩短了演算法反覆运算的周期和成本;另一方面,深度学习技术可以透过对机器的不断训练,为视频分析演算法现最佳化,提高智能分析的准确性,在复杂环境下完成高强度视频分析任务(例如在闹区进行人脸比对和追踪)。

包括产业界和学术界的研究人员都使用GPU来加速深度学习演算法。GPU可以快速且有效率地处理高度平行的运算任务,如视频和绘图。以GPU为基础的深度学习已经为各种应用带来突破性进展,包括图形分类、语音辨识以及自然语言处理。

核心的平行运算架构——CUDA的广泛普及,也在深度学习解决方案的最新进展中发挥重要作用。CUDA有助于让每个程式管理人员快速、轻松地将解决方案从笔记型电脑移植到Nvidia嵌入式运算平台Jetson上运作的机器人、无人机或智能相机。由于GPU的运算与平行能力,这些先进软体将可自行管理。

Jetson开发平台提供CUDA平行运算架构,发挥深度学习的潜力 (来源:Nvidia)

除了Nvidia,Google、IBM、高通(Qualcomm)等业界厂商也投入该领域的晶片开发。高通计划在2018年扩展其Zeroth平台的神经形态功能,延伸认知运算与机器学习至其他的嵌入式应用,例如穿戴式装置与无人机等。

因此,从长期来看,深度学习技术有助于降低智能分析应用的成本,也会拓展带有智能分析功能的视频监控设备应用扩展。除了价格因素外,从短期来看,深度学习技术在视频监控领域应用的最大挑战就是如何将那些优质的演算法根据实际的应用情景进行二次开发,实现真正的技术落地。

“使用视频分析实现目标和事件检测,无论是即时的还是后期的,将持续位于视频监控技术创新的前端。”Intersil类比产品市场和应用总监Raman Sargis认为,视频监控产品一般使用动作检测来触发视频撷取,但这很容易出错。“从好几个小时的视频中寻找出某一个事件非常耗时。因为视频包含了大量的资讯,如何分辨哪些是有价值的,哪些应该删掉,这为用户带来了挑战。”

高通计划扩展其Zeroth平台的认知运算与机器学习功能至穿戴式装置与无人机等嵌入式应用

深度学习实现视频监控应用

如今,透过嵌入于摄影机(即时)和录影机/视频储存(后期处理)的深度学习演算法,可实现智能撷取或查看某些特定视频画面。Raman Sargis说,深度学习技术已经取得了重要的进展,并应用于一系列基于视频的解决方案中,在汽车中采用的障碍物侦测和防撞就是一项很好的应用实例。

尽管许多产业均已应用深度学习技术取得较传统系统更多突破性的成果,但并不是所有的应用都适合深度学习。以视频监控领域来看,IronYun执行长Paul Sun指出,包括脸部辨识以及人员和物件检测等应用可望从深度学习中受益:

脸部辨识: 深度学习技术大幅提高了脸部辨识的准确率。根据美国国家标准与技术研究所(NIST)在过去十年进行的脸部辨识厂商测试(FRVT)报告,目前的脸部辨识演算法较2002年的准确度提高了10倍,更较1995年提高了100倍的准确度。如今,最佳的脸部辨识商用产品大多都基于深度学习技术。此外,根据Facebook和特拉维夫大学(Tel Aviv University)的研究,在机场移民脸部辨识等受控制环境的应用,其精确度已经达到99.9%了。

人员和物件检测: 人员检测和物件检测是深度学习表现出巨大进步的另一个领域。例如,过去五年来,IMAGENET数据库组织了“大规模视觉辨识挑战赛”,挑战以影像软体演算法进行检测、分类和分析来自Flickr和其他搜寻引擎收集超过150,000张照片的数据库。许多深度学习系统使用基于GPU硬体加速器的IMAGENET数据集中超过120万个影像进行训练。从2010年到2014年,其准确度从72%提高到90%以上。

而如果要把人工智能导入传统的视频监控领域,将取决于在摄影机、网络储存和后期处理之间分配的视频分析功能。如摄影机至少需要原始智能来辨识想要的视频讯号,并为它们标上深度分析标签,在视频传输到视频储存媒介后进行深度分析。Raman Sargis强调,“视频分析作为一种服务,是一个微型的垂直市场,可以利用协力厂商专利分析功能获得成长。”

Axis执行长Johan Paulsson指出,“在综合所有数据的情况下,我们认为深度学习技术即将跃上台前,这是非常值得关注且令人振奋的领域。”他认为深度学习和人工智能技术透过运用模式辨识软体,正在努力“学习”全世界安装的多重安全监控摄影机看到的不同类型行为。虽然人员各不相同,但他们所在的环境、地点和普遍行为通常可归为同一类型。“学习”到这些行为后,便可以分享底部潜藏的模式,让系统在发生不寻常事件时发出警示。

当然,实体安全不仅涉及人员/地点/物体的监控,也涉及实体门禁控制、单向和双向通讯及管理紧急情况(且通常都是远距离管理)。因此,2017年应该是安全监控摄影机与智能门禁管控、对讲机和扩音器(无论是本地或远端)密切整合的一年。这意味着只需一个简单系统就能即时管理上述全部装置功能,让用户可看到、听到建筑物内/附近的人,并与之交谈。

此外,基于深度学习的视频监控应用还可扩展到无人机和机器人等嵌入式应用领域。安全的无人机和机器人是近一、两年涌现出的新事物,尽管目前市场份额并不大,但获得了众多的业界关注,并被视为今后具有成长潜力的市场。

根据IHS Markit 2016年发布的预测显示,2016年全球专业服务机器人(相对于工业制造机器人)和专业服务无人机的销售额分别为26亿美元和3亿美元,未来5年的CAGR分别达到了38%和70%。尽管安全领域的应用只是这两个市场的一小部分,但未来的产业发展前景却非常诱人。另外,相较于传统的视频监控产品,安全无人机和安全机器人的进入门槛更高,竞争程度也没有传统安全产品激励,传统安全企业利用自己的视觉技术可以在这两个产业中获得新的收入和利润的成长点。

安全无人机可用于紧急事件后的快速侦察,在区域遭到入侵或自然灾害等事件发生后,迅速飞入现场进行侦察。但由于其续航时间有限(一般在30分钟左右),无法进行长时间的巡逻监测。基于深度学习的安全机器人的优势除了有更长的续航能力外(可以长达8小时),还可以安装多个摄影机和感测器,提供360度全景影像和各种环境数据,用于电力、能源、化工等厂区的巡逻作业。

Raman Sargis看好安全无人机的成长潜力,理由是安全无人机的部署速度比较快,对安全视频监控有着更大的影响。他相信无人机已经在边境控制、区域跨度较大或高危区域执法中得到了应用。安全机器人也许在与人互动创造价值的场景中比较有用,例如公园、大学、医院和机场等。

Alvin Chang对此也持类似观点。一些仅需要简单动作即可完成的工作,确实可以由机器人来完成,市场成长空间也相对比较大,例如机器人饭店前台招待人员或是将来在无人停车场、校园、公园部署的警用巡逻监控机器人等,都可结合视频监控与分析功能。但他也指出,机器人和无人机更广阔的应用空间,还是被用于制造业以取代高涨的人力成本,以及运动、旅行、登山、娱乐和自拍等消费类应用中。

基于深度学习的视频监控解决方案

相较于传统的电脑视觉演算法,基于深度学习的演算法优点之一在于深度学习系统可以用更好和更多的数据集连续进行训练和改善。根据许多相关应用显示,相较于准确度难以超过95%的刚性电脑演算法,深度学习系统可以透过“学习”达到99.9%的准确度。

此外,深度学习系统的另一项优点是“异常”事件检测。深度学习系统具有侦测未定义或意外事件的能力。这种功能让深度学习具有让安全视频分析系统大幅减少误报检测事件的潜力。事实上,误报侦测率居高不下,一直是视频监控产业的关键问题之一,甚至让许多供应商的智能视频分析解决方案难以广泛被接受。

具体来看,随着机器学习等应用快速扩展到越来越多的终端市场,在边缘、在云端,或者以混合的形态开始将基于边缘的处理以及基于云端的数据分析融合在一起。赛灵思(Xilinx)策略与市场行销部资深副总裁Steve Glaser指出,众多的传统嵌入式视觉应用透过采用机器视觉和感测器融合技术后正发生巨变,下一代应用包括协作机器人、具有感应和躲避功能的无人机、扩增实境(AR)、自动驾驶汽车、自动化监控和医疗诊断等。

这些系统通常具有三大使命:

系统不仅要会思考,而且还能对情境立即做出“回应”。这需要一个从感应、处理、分析、决策、通讯和控制的完整流程中更一致的视图。同时还要高效实施、部署最新机器学习技术,满足8位元以及更深层面的精确性要求;
鉴于神经网络和相关演算法的快速变化以及感测器的快速发展,必须实现灵活性,才能透过软、硬体的可重配置性升级系统;
由于许多新系统都连接在一起(物联网),因此必须与传统的现有设备通讯、与未来推出的新设备通讯,还要能够进行云端通讯。

对于赛灵思而言,其半导体元件的优势只有那些拥有硬体或者RTL设计专长的专业用户才能受益,对于更广泛的应用和支持使用产业标准库和框架进行软体定义程式设计,还存在巨大的障碍。为此,赛灵思推出了全新的reVISION堆叠,旨在支持那些没有深层硬体专业技术的设计团队,仅使用软体定义开发流程就能将机器学习和电脑演算法高效的整合到系统中。

reVISION堆叠包括用于平台、演算法和应用开发的丰富开发资源,支持最流行的神经网络(诸如AlexNet、GoogLeNet、SqueezeNet、SSD和FCN)以及库元素(如CNN网络层的预定义最佳化型建置方案,这也是建构客制化神经网络DNN/CNN所需要的)。

赛灵思的reVISION堆叠包括Zynq SoC和MPSoC开发平台,支持用于机器学习的Caffe和用于电脑视觉的OpenVX(将于2017年下半年推出) (来源:Xilinx)

谁来捍卫视频监控安全?

谈到视频监控,最令人担忧的是分布式拒绝服务(DDoS)攻击监控摄影机的影响。网络安全(cyber security)和视频监控人员一直在讨论不可靠的摄影机可能在某些时候造成危险,而这些顾虑在去年秋天僵施网络利用大量IP摄影机瘫痪DNS服务供应商Dyn的事件中表露无遗。

2016年10月,美国遭遇DDoS攻击,导致大量视频监控摄影和网络陷于瘫痪,让人们再次对网络安全防护产生了焦虑。Raman Sargis指出,“任何连网装置都会面临骇客和恶意攻击的风险。IP摄影机本质上是物联网的一个节点,可以获得物联网架构中实施的同等级安全保护。我认为IP摄影机的安全性应该归类为广义物联网安全的一部份,长远来看它将无缝融合于物联网结构中。”

其实不仅仅是视频监控产品,所有接取网络的物联网装置都面临着网络安全问题。加强视频监控设备的安全加密和认证是最直接的避免网络病毒袭击的方法。此外,也可以安装嵌入网络安全监测的视频监控交换机,ICT供应商或系统整合商也可以利用已安装的ICT网络安全产品对视频监控产品进行保护。当然,视频监控网络安全问题也带来了一些新的商业机会,例如协力厂商网络安全测试和认证的服务、提供给系统整合商的ICT网络安全谘询服务等。

透过深度学习可望为视频监控环境改善一部份难以(和无法)进行视频分析的问题。然而,相关产业界还必须进行更多的努力,持续提升深度学习系统,学习和侦测安全环境所特有的特定事件。

考虑到2017年会有更多的智能摄影机、门禁监控、音讯设备、家电、工业设备接取网络,Johan Paulsson呼吁所有制造商都应该将安全视为优先,让客户更专注于其擅长的领域,由安全专家改善所提供的服务。他并预期2017年将是结合新摄影机功能、智能分析和深度学习进行脸型辨识、鉴识分析和周边防护以因应安全挑战的一年。


    扫描下方二维码关注老杳或集微网官方微信:




  • 【手机中国联盟官博系列赠机活动进行中,欢迎参与】

  • 老杳吧本周热点帖子

    老杳吧今日热点帖子


    TAG: 视频监控
    顶:1 踩:1
    对本文中的事件或人物打分:
    当前平均分: (7次打分)
    对本篇资讯内容的质量打分:
    当前平均分: (4次打分)
    【已经有人表态】
    上一篇 下一篇