5G时代:机器视觉大有可为

发布时间:2020-12-28 作者:中兴通讯高级系统架构师 关涛 阅读量 :

      随着人工智能技术的蓬勃发展,机器视觉领域引入人工智能方法,在不少场景下处理的范围和效果得到了增强,极大拓展了机器视觉的应用领域。机器视觉已成为深度学习的研究热点,在众多研究机构、企业的参与下,无论在技术还是应用上,都有很大的进步。

政策层面,中国提出中国制造2025的战略目标,要向制造强国转变。制造能力的提升离不开智能化,这也是机器视觉的主要优势领域。在国家战略的影响下,机器视觉行业必将迎来大发展。

 

潜力巨大的机器视觉市场

 

       目前国内机器视觉处于快速发展时期,企业间竞争激烈,处于百花齐放的阶段。据相关机构统计数据,中国机器视觉应用市场规模近几年一直保持快速增长,2019年已经达到14.56亿美元,3年内预计会达到200亿美元的规模。

       机器视觉技术可广泛应用于工业、交通、医疗、教育、城市园区、商业、农林牧渔等各个领域。目前的机器视觉市场,工业领域占据了主要份额,是机器视觉的重要应用领域。在工业领域内,3C电子制造以及汽车制造行业又占据了大部分市场份额。

       工业领域中,机器视觉可以在冶金、食品、电子制造、汽车、化工等各个领域应用,如生产工艺的检测、产品质量的检查、零部件的管理等。在3C电子制造行业,机器视觉在产品表面检测、触摸屏制造、AOI光学检测、电路板检测、产品装配等多个领域发挥重要作用。在汽车制造领域,主要应用于对汽车零部件的测量、检测,以及对车身、部件等对象的表面检测。

城市、园区领域,机器视觉可广泛用于城市建筑三维建模、人员的密集程度检测、人流分析、异常行为检测等场景。

       商业领域,机器视觉可用于商品识别、数量检测、顾客喜好分析、支付、AR导览等场景。

       交通领域,机器视觉可用于自动驾驶、车辆违章检测、车流密度检测、车牌识别、车辆排查、运行轨迹勾画、港口货物识别、机场车站闯入监测等多个场景。

       医疗领域,机器视觉可用于病灶分析,协助医生进行诊断。

       教育领域,机器视觉可提供沉浸式教学,也可用于工业场景中工艺流程的培训。

       农林牧渔行业中,机器视觉可用来检测土地面积,判断动植物病理、生长情况,监测火灾等。

       机器视觉市场蓬勃发展,对该领域的投资也不断增长。行业数据表明,2019年国内在机器视觉领域的投资融资超百亿。在获取更多资金后,机器视觉企业会加速发展,各种新技术也会加速落地,进入实际应用阶段。

 

5G推动机器视觉的发展

 

       机器视觉需要图像的采集、传输,对带宽有较大需求。如果是需要实时分析处理视频的场景,则对时延有较高要求,如自动驾驶、远程医疗、远程控制等。传统方式需要在摄像机附近部署工控机等处理设备,就近处理图像。受限于工控机的存储能力,处理完毕后,图像被丢弃或临时存储在工控机上。图像处理设备分散,导致设备时忙时闲,无法充分利用其处理能力。同时,设备采购成本较高。长期来看,运行维护也较困难。其次,有些场景现场环境恶劣,可能缺少供电、网络等基础设施,不具备部署处理机的条件。这些因素都限制了机器视觉的应用。

       当前5G已经开始规模化部署。5G具有高带宽、低延迟等特点,高带宽有利于图像的传输,低延迟则可满足一些需要及时处理图像的场景。同时,5G是一个基础设施,具有广泛覆盖的特点,一般来说,一个通信设施完备的国家,5G的覆盖将是全国性的,这是其他通信设施无法比拟的优势。全地域覆盖的5G网络将极大地促进机器视觉在各种应用场景的落地。在一些场景下,5G可以大幅降低机器视觉应用的部署、运维成本,使原来无法实施的场景成为现实。同时,可以将分散在各处的图像处理机集中起来,例如部署在MEC上,提供处理能力的复用,降低部署成本和长期运维成本。

 

机器视觉应用的热点技术

 

       当前机器视觉技术蓬勃发展,研究、应用热点众多,总体上在向处理更多种类的数据、更复杂的目标、场景方向前进。出现了从物到人、从平面到立体、从单一图像数据源到多数据融合的趋势。结合机器视觉技术现状和未来发展趋势,选择如下几个热点技术进行探讨。

 

人体行为分析

 

       人体行为分析是机器视觉领域的重要课题之一,可广泛应用于智能视频监控、智能机器人、运动分析等领域。但是人体动作较复杂,场景多变,对人体动作、行为的分析比较困难,目前对人体动作的分析有多种方法,适用场景不一。

       一种方式为C3D,此方式将图像序列作为一个维度,将原来的二维图像拓展为三维,送入网络进行训练学习,然后对动作进行分类。另一种方式为CNN+RNN,即将各帧图像提取特征后,送入RNN(循环神经网络)进行训练学习,提取序列特征,最后分类动作。还有一种方式是双流法,深度学习网络有两路输入,一路是原始的图像,一路是光流。通过将光流数据和原始的图像结合,对人体动作进行分析。

为提高性能,增强效率,出现了TSN、TRN等方法。TSN(Temporal Segment Network)从动作视频中分段截取内容,提取特征后进行合并,然后进行动作判断。该方法减少了计算量,提高了运行效率。TRN(Temporal Relation Network)按不同时间尺度提取特征,然后对不同尺度的特征进行融合,在此基础上判断动作。效果。

       在分析人体动作时,人体的姿态是重要的数据之一。分析人体的姿态算法主要分两种类型,一种是top-down方式,先检测人体,然后分析人体的姿态。另一种是bottom-up方式,先检测关节、骨骼等部位,然后分析出人体的关节、骨骼等信息。还有一种是检测周期性动作的方式,如rep-net,对周期性的动作进行计数,可用于统计动作的次数。

 

3D数据分析

 

       目前图像分析处理多是针对平面图像,实际应用中,往往需要三维的信息,才能获取更准确的结果。如对电路的检测,平面图像受限于其拍摄角度,无法感知高度等信息,对一些异常情况无法判断。结合深度数据后,则可拓展检测内容范围,提升检测效果。

       3D数据分析包含3D物体的检测、识别、分割以及匹配等功能,可用于生产线的产品检查、零部件检测、生产过程监测等,也可用来提高传统检测的精度,如对物体的识别等。3D处理的数据可以是3D点云。三维建模也是3D数据处理的一个重要方向,涉及到点云数据的配准、回环检测、分割、渲染等一系列的处理过程。三维建模是将现实物理世界映射到数字世界的重要方法之一,在园区、城市建设、商业体管理等多种场景有重要价值。

 

多传感器融合

 

       实际场景往往比理论研究要复杂,需要更多的数据进行综合分析,以提高处理效果。视觉处理中除了图像数据,也可结合其他类型的相关数据,以达到分析的要求。

       如在slam(同步定位与建图)中,单靠图像数据提高精度比较困难,可同时采集IMU(惯性测量单元)数据,两个数据结合后,可以提高检测的精度。另一种方式是结合深度数据,如在采集数据时除了白光摄像机,还可使用激光雷达等设备,同时采集距离、方位数据,和图像数据结合,完成地图的重建和导航。

       又如在温度测量场景中,使用红外摄像机来采集温度图像。但是红外的方式往往无法有效检测被测量目标,尤其是在被测量目标会移动,或者经常变化的情况下,单靠红外摄像机是无法有效检测的。这种情况可结合白光相机,用白光图像检测目标,然后在红外图像上提取温度数据。这种组合可灵活应对检测目标的变化、移动等场景,处理效率更高,可广泛应用于人流测温、生产线的产品测温等场景。

 

中兴通讯发力5G机器视觉领域

 

       中兴通讯作为5G设备的重要供应商之一,积极参与5G建设。同时,在机器视觉领域也逐步发力,在工业、园区等领域进行研究,和各行业龙头企业合作,共同推进5G场景下企业的智能化转型。在南京滨江5G智能制造基地,中兴通讯的机器视觉应用于产品质量检测,极大提升了检测效率。中兴通讯和大型铝材生产厂商神火集团开展合作,为神火集团园区提供5G+机器视觉解决方案,通过视觉分析方式,助力其检测生产过程,提取生产数据,保证生产的安全、稳定。

       中兴通讯一直致力于机器视觉在工业领域的推广,在今年的国际电信联盟第十六研究组ITU-T SG16全会上,由中国电信牵头,中兴通讯参与联合提出的“基于机器视觉的智能制造业务和应用需求”标准成功通过立项,中兴通讯担任联合编辑人。未来,中兴通讯将结合应用和需求场景并融合5G、MEC等技术,致力于机器视觉国际标准的研究和制定,推动产业形成统一格局,助力生态圈打造。