数据开放方案,打造数据生产力关键环节

发布时间:2019-01-25  作者:曾鸣 中兴通讯  阅读量:

大数据时代信息呈爆炸式增长,人们在生产、生活中产生了大量的数据,这些数据通过各种感知端收集在政府和企业的管理系统里,用于城市规划、市场决策。数据的价值在于融合和挖掘,而数据的流通和交易有利于促进数据的融合和挖掘。早在2015年9月,国务院就发布了《促进大数据发展行动纲要》,首次在国家层面提出了“公共数据资源开放”的概念,将政府数据开放列为大数据发展的十大关键工程。2016年12月,工信部正式印发了《大数据产业发展规划(2016——2020年)》,全面部署“十三五”时期大数据产业发展工作,加快实施国家大数据战略。2017年12月8日,中共中央总书记习近平在主持学习时强调,推动实施国家大数据战略,加快完善数字基础设施,推进数据资源整合和开放共享,保障数据安全,加快建设数字中国。数据开放已经得到政府和企业的高度重视。

当今数据开放面临三大挑战:

-愿不愿意开放:很多数据拥有者不放心让自己的数据进入流通环节,担心泄密;

-能不能开放:部分数据涉及国家机密、商业秘密或者个人隐私,这部分数据不能开放,需要有控制机制;

-如何开放:缺乏技术支持平台,实现数据有效、安全的开放。

数据开放是一个系统工程,传统的数据开放只解决了数据如何开放的问题,而忽略了用户愿不愿开放、能不能开放的问题,导致数据开放流于形式,开放数据质量不高甚至存在泄漏隐私和机密的问题。

针对以上问题,中兴通讯提出数据处理整体解决方案,方案包括数据交换、数据治理、数据开放三大平台,能够帮助政府、企业用户解决大数据管理的问题,提供从数据采集、治理到开放端到端的解决方案,为社会、企业、个人开放有益数据,促进数据流通。解决方案数据流如图1所示。


数据交换、数据治理、数据开放三大平台各司其职,彼此协作,可分可合。原始数据从入库经过清洗、转换、融合、脱敏到最终开放,对整个过程进行“分区存储、质量检查、安全处理”,确保了开放数据的有效性和合法性,并对开放数据提供数据溯源功能。

数据交换平台完成数据的采集,对单源数据进行初步质量评估,过滤无效数据,完成有效数据入库,并建立数据资产“档案”,识别出哪些数据可以开放,哪些数据不能开放,为客户解决数据能不能开放的问题。平台实现数据集成及共享交换,提高系统间数据的互联互通。系统采用分布式架构,主要提供资源编目、数据采集、质量评估和共享交换功能。

数据治理平台对多源数据进行整合,通过数据质量检查规则进行数据一致性、合理性检查,剔除不合理数据,进一步加强数据的有效性;根据数据资产档案,对涉及隐私、机密数据字段进行数据脱敏处理,保证开放数据的安全性;提供数据溯源,实现开放数据可追溯,解除数据拥有者的顾虑。平台通过建立统一的数据标准,对业务数据进行建模、整合、发布、管理,从而提升数据质量,有效管理数据资产。系统采用大数据技术、分层架构,主要提供数据建模、数据地图、数据生命周期管理、统一元数据和数据质量功能。

数据开放平台为客户提供数据开放手段和技术支撑,以服务的方式对外开放。通过数据服务网关进行服务的注册和发布,并通过网关进行统一的安全管控;提供服务编排功能,让用户通过简单拖拽就能把数据转化为服务,降低技术门槛。平台实现开放数据对上层应用的快速服务化,通过把数据包装为服务进行发布,利用SOAP、REST、JSON、XML等各种标准接口,以Web Service的方式实现数据服务调用,提供数据开放服务。

数据开放平台采用轻量级的分布式架构,支持单机和集群多种部署模式,包括服务网关、服务引擎和服务管理三部分功能构成,系统架构如图2所示。


-服务网关:实现服务接口对外访问的统一封装、路由转发并对服务资源的访问进行安全和资源访问的监视和控制。

-服务引擎封装服务的执行引擎和运行容器,支持服务的远程测试和部署。

-服务管理:提供服务接口注册、服务开发、服务申请、服务授权、服务质量监控功能,实现对服务资源的管理功能。

中兴通讯数据处理方案提供了端到端完整的解决方案,解决了当前数据开放面临的三大问题,为数据方提供了安全、有效的数据保障手段。方案不仅适用于智慧城市领域,也同样适用于公共安全、物联网和运营商通信领域。

中兴通讯数据处理方案为客户提供的主要特性及收益如下:

-提供了一套全流程的数据质量管理方案,保证了开放数据的有效性;

-建立了一套数据资产全生命周期管理系统,为客户识别出哪些数据可以开放,哪些数据不能开放;

-提供了一套数据安全管理方法,对涉及隐私和机密的数据进行脱敏处理,保障了开放数据的安全性;

-提供了一套轻量化的数据开放平台,以服务的形式进行数据的开放和管控,并提供了可视化的服务编排,方便用户进行快速服务包装,提高了开放效率;

-建立了一套数据溯源机制,保证了开放数据的可追溯,方便开放数据的管理。

数据常常被比喻为“新时代的石油”,而数据开放能够促进数据的融合和挖掘,是产生数据新生产力的最后关键一环。未来数据开放还可以和AI技术结合,通过语义分析和人工智能自动识别出哪些数据能够开放,哪些数据不能开放,分析出哪些数据质量有问题、不一致,缩短数据入库到开放过程的时间,大大提高数据开放的效率。还可以针对不同用户提供个性化、差异化的服务和数据推荐等,甚至引入人机对话模式,让数据开放更加智能,大大提升用户的满意度,让数据开放更好地为企业和社会服务。

分享到:

 选择国家/语言

Global - English China - 中文