UOC数据治理方案

　　我们正在经历一个数据量高速膨胀的时代，人们已经意识到数据是一种资产，谈到数据，人们首先想到的是挖掘数据价值，为管理决策者提供准确的判断依据。政府、企业在电子信息化的过程中，拥有众多的数据系统，如今这些海量的、分散在不同系统的数据导致了数据资源利用的复杂度和管理的高难度。管理决策者无法从统一的业务视角去概览内部的数据信息，系统与系统之间的关系、标准数据无从知晓。为达到挖掘数据价值的目标，我们需要从分散在各处的异构的系统中提取准确的、高质量的数据为我们所用。数据治理为我们提供了解决方案。

　　数据治理是指制定正确的原则、政策、流程、操作规程，确保以正确的方式对数据进行管理。数据治理的目标是将分散、多样化的数据通过标准化、质量探查、清洗、集成及监控等操作进行优化，形成数据管控体系，持续运行，提升、挖掘数据的应用价值。实施数据治理分为两个层次，第一层次是数据自身的治理，主要针对数据本身的错误进行过滤、标准化、去重和冲突检测处理，并针对数据质量给出评价。第二层次的数据治理是数据探索，对数据的整个生命周期进行分析，实现数据溯源。大部分数据治理厂商提供的功能属于第一个层次。要实现第一次层次的数据治理需要基于元数据技术，而要实现第二个层次的数据治理需要基于主数据技术。

　　主数据是指系统间的共享数据，是相对稳定、常用、能够支撑核心业务的数据。主数据管理的目的将重要的数据从系统中分离处理，使其成为一个集中的、高质量的、可管理的、可重用的核心数据资源。

传统数据治理的问题及解决方案

　　传统的数据治理主要是针对数据自身的治理，属于数据治理的第一层次，存在多部门标准不统一、网状关联、数据难以共享和追溯的问题。以政企智慧城市法人库建设为例，法人库的字段信息存在于多个委办局的表里，法人库信息关联各个委办局，形成了复杂的网状结构（见图1），其主要面临如下问题：

　　●     数据缺乏完整性和一致性，重复数据多；

　　●     数据标准不统一，难以共享、统计和分析；

　　●     数据交互越来越复杂（网状关系），越来越难以关联。

　　这些都是传统的数据治理无法解决的问题。针对以上问题，中兴通讯推出基于主数据管理的UOC（Urban Operation Center）数据治理解决方案，属于数据治理的第二层次，采用主数据技术，建立主数据管理平台来

　　集中管理法人库的核心业务数据，通过主数据来建立法人库，这样所有委办局都以主数据管理平台的数据为基准与主数据保持一致，从而解决了数据重复和关联复杂的问题，方便数据的追溯（如图2所示）。

系统架构及主要功能特性

　　中兴通讯UOC主数据管理平台采用大数据技术，通过对业务数据的建模、整合、发布、管理实现数据的治理功能。其系统架构如图3所示，采用分布式、分层架构，业务层提供数据建模、数据地图、数据集市和数据全生命周期管理服务功能，支撑层提供元数据管理、统一任务调度和数据质量管理功能。

　　●     业务层功能

　　数据建模，实现多样化的数据资源建模。包括主数据的定义和分类，定义主数据中的各项指标及属性，定义主数据的编码规则。

　　数据地图，以数据为核心展示系统大盘、动态分布，实现库-表-字段级别的数据追溯。包括从系统大盘、动态分布角度展现主数据视图功能，支持主数据、数据集、数据字段、数据任务的数据搜索功能，自动生成数据资产之间的血缘关系，支持数据溯源，数据集发生变更系统列出变更影响分析。

　　数据集市， 通过数据整合生成数据集市库，提供数据开放服务订阅功能。包括实现数据的订阅发布管理，提供数据查询和推送服务，实现数据服务的审核、监控，实现数据服务的使用统计和权限控制。

　　数据整合，提供可视化数据整合任务建模，实现数据整合。包括提供工具将源数据进行汇集、整合和存储，实现数据采集、整合流程的监控，实现数据对比功能。

　　生命周期管理，数据全生命周期管理，实现对数据标准、数据质量和数据安全的全流程监控功能。包括提供标准代码、标准档案管理，识别敏感数据，进行数据脱敏实现数据安全，实现数据来源追溯及数据变更管理。

　　●     支撑层功能

　　统一元数据管理，支持所有类型的元数据对象建立模型，自动捕捉数据元数据之间及其与任务元数据关系，可视化展现元数据关系，支持钻取。

　　统一任务调度，统一批处理和流处理数据模型，简单灵活、功能丰富、表达能力强，SPARK集群分布式计算，计算能力可扩展，具有TB级数据处理能力，支持可视化流程建模&API流程建模，满足不同应用场景需要。

　　数据质量管理，提供大数据质量检查能力，支持多种类型的数据资源质量检查：关系数据库、文件、SPARK表；丰富的数据质量检查规则：正则、值域、函数依赖、重复、数据比对规则，通过问题工单系统实现问题的闭环处理，提升数据质量。

客户收益

　　数据治理是数据开放的基础，为数据开放提供了监控和追溯的技术手段，为数据开放提供了数据安全和质量的保障。中兴通讯数据治理方案不仅适用于智慧城市领域，也同样适用于公共安全、物联网和电信领域。数据治理方案为客户提供的主要特性及收益如下：

　　●    为客户提供了一套全方位的数据治理手段。使用主数据模型建立了一套统一的数据标准，方便客户内部部门间的数据共享，简化了数据依赖。

　　●   为客户建立了一套可视化、通用化的数据流程标准模型，统一了数据流程建模，提升了工作效率。

　　●   为客户提供了一套高效的数据资产全生命周期管理方法，为用户数据开放提供了数据安全保障和数据追溯的手段。

　　●    为客户提供了一套端到端的数据质量管理方案，帮助客户实现数据质量问题的闭环处理，提升了数据质量。

　　在茫茫的数据海洋里，UOC数据治理方案不仅能给客户解决数据质量问题，提升数据质量，更重要的是它能为用户揭示整个数据的生命周期，洞察数据的发展过程和关联关系，把握数据价值挖掘的最佳时期，为数据挖掘指明了方向。