中兴通讯 AI Explorer,AI技术到应用之路

发布时间:2019-01-25 作者:洪科 中兴通讯 阅读量 :

谈到分析挖掘,容易想到分类、聚类、序列等算法,这些算法都很重要,但不是关键。如果把业务模型探索看作一次登山运动,那么直接运用上述算法的过程只是登顶这个动作。当前业界已有不少支持分析挖掘的产品,在数据接入、特征工程、基础算法、可视化、模型验证等功能实现方面,各厂家差别不是很大,能够满足大部分模型探索的需求。但这些工具基本都存在一个共性问题,即提供的功能较少考虑人与人、工具与工具之间的协作,即使有,也局限在自家产品范围内,给实践带来诸多不便。

为什么协作在分析挖掘类的产品中如此重要呢?模型探索过程的一个重要特征就是目标不变,方法流程经常变化,探索中的子流程间关系也不是线性的,存在多轮的反复验证;另一方面,分析挖掘工具或平台,很少直接面向最终用户,更多是为其他业务系统提供支撑,如果工具不能支持与外部已有系统的互动,最终产品形态的研发总体上还是低效的。

工具是因需求而生的,需求又与具体的场景紧密相关,场景可大可小,但不能没有场景。中兴通讯AI Explorer(简称AIE),就是基于电信领域,与应用产品共同成长起来的一款分析挖掘工具。它从架构设计之初就把“协作”当作一项重要的特性给予考虑,最终在产品的各个方面也得到了体现。

AI Explorer中的协作

AI Explorer中的协作由高到低,可分为部署级、实验级、用户级三个层次。

-部署方面的协作

AI Explorer支持多种部署方式,单机部署是其基本形态,可运行在Linux、Windows、中兴通讯PaaS等不同的平台之上。当数据量很大时,AI Explorer可与中兴大数据平台DAP/ADMA对接,利用其强大的分布式计算能力,进行复杂的模型计算。如果涉及到深度学习模型,AI Explorer可以将相关任务运行在中兴通讯自研的专业深度学习计算平台ZAIP之上。更为重要的,在AI Explorer中,可以在一个实验中同时使用Python单节点、DAP/ADMA、ZAIP三个不同的计算框架进行协作建模,对上层用户提供透明的操作体验。

当部署两套AI Explorer系统时,可通过AIE提供的实验或模型导入导出功能,在不同系统之间进行共享。甚至可在一套AI Explorer中进行训练并输出模型,在另一套AI Explorer上部署模型并执行推理过程。

AI Explorer支持Spark表、关系数据库、CSV文件等多种数据方式的输入输出。AI Explorer中固化的实验,外部系统可通过Rest接口触发执行,并支持通过参数传递更改每次执行时的输入输出数据源和算法参数。当某些外部系统不提供Rest接口时,用户可将AI Explorer中的实验导出独立的执行包,通过本地API方式调用执行。

-实验级别的协作

实验是AI Explorer中的基本执行单元,一个实验能够完成从数据接入、建模、到模型输出的全流程。实践中,在一个实验完成所有的处理流程,往往非常复杂,而分析建模的特点是需要不断地对算子或参数进行调整,如果流程很复杂,每一次小的改动牵涉面会非常广;另一方面,不同的数据分析师在同一个大的实验中并行工作,也会影响总体的模型探索效率。

AI Explorer支持以实验为单位的再次编排,这样每一个实验可以由不同的数据分析师负责完成。譬如:一个业务分析流程由A、B、C三个实验组成,在实验D中,将三个实验作为算子进行编排,最终用户只看到实验D,并可在实验D调整ABC三个实验中的参数,屏蔽了三个实验的实现细节,起到功能封装的目的。实践中可以递归使用此方法,完成复杂的业务模型。

AI Explorer支持不同用户在同一个实验中协作完成模型探索。在AIE中,实验是与具体用户绑定的,默认情况下当前用户只能操作自己的实验。某些场景下,不同用户需要在一个实验中协作,此时,用户可将自己名下的实验授权给其他用户,授权方式支持只读、执行、修改等三种级别,在修改模式下,用户编辑前首先要获取锁的动作(系统自动判断完成),此时如果其他用户也要编辑,系统会给出警告,只允许查看。当编辑用户执行保存动作,其他用户可及时得到通知并加载最新的实验。

-同一用户下的协作

 一个用户往往拥有多个不同的实验。因人员分工的存在,某一用户下的多个实验往往有相似性,为了提高同一类型实验的建模效率,AI Explorer中支持一种特殊的操作模式——算子组合,用户可根据需要将多个算子合并成一个算子。譬如:使用一个分类算子,一般需要“字段选择”“类型修改”“标签设定”等三个算子的配合,可以把这四个算子合成一个并保存到算子树上,这样可以在其他实验中使用这个复合算子,提高建模效率。

AI Explorer支持在同一用户同一个实验中,在不同分支流程中并行的探索模型。譬如:当前实验主要是使用分类算法,用户可在不同分支上尝试不同算法,执行一个分支时,用户可以在其他分支上增加修改算法,提高总体的研发效率的同时也利于不同算法间效果的比较。甚至可以与系统默认的“分支选择算子”协作,在部署阶段根据数据特点自动选择执行合适的分支流程。

-一种特殊的实验间协作:参数自动化寻优

在分析挖掘应用实践中,同样的一套实验在不同的现场部署时,往往需要根据不同的数据特点对算子参数进行微调,以达到理想的分析效果。传统的调参方式严重依赖经验丰富的专家。当前业界在自动化调参方面的实践有:网格搜索、遗传、爬山等软算法。网格搜索方法是将待调整的参数组合成庞大的搜索空间,对每个参数组合进行尝试;遗传和爬山算法是一种思想,需要与具体算法结合起来实现,总体上是侵入式的,虽普适性不强,但在某些场景下,能够达到很好的效果。

AI Explorer的自动化参数寻优,基于强化学习思想实现,架构上与网格搜索方法类似,也需要构造一个参数组合空间。不同点是,本方法中不是蛮力搜索,而是利用强化学习的“试错评估”方式,对每次参数的变换方向进行监督,快速寻找到较优的参数组合,同时利用深度学习网络学习监督过程,模拟人类的经验积累过程,并在不同场景间共享网络记录的调参经验。

AI Explorer应用模式

AI Explorer已经广泛应用在通信、政企项目中。针对不同的业务场景,AI Explorer参与形式不尽相同,基本可分为两种:

-A模式

数据分析师和软件工程师使用AI Explorer系统,客户不感知AIE系统。

在某国内局点,现场研发人员使用AI Explorer进行模型探索,将业务分析目标端到端的在AI Explorer系统上设计,期间不断迭代,优化模型性能,最终将实验流程制作成具体业务场景的分析模板。将模板导入生产系统并实例化成具体的数据分析流程,从而实现分析流程从实验室向生产系统的转换。此模式中,AI Explorer有两个用途:其一,使用AI Explorer可视化建模功能,使用少量历史数据进行在线分析和模型探索,并对模型的泛化能力定期审查。其二,通过AI Explorer提供的服务接口与其他的系统进行集成,提供端到端的服务,在更高产品层次进行成果呈现。每一个分析流程的个性化参数,可以通过服务接口设置。在某案例中,AI Explorer通过Rest接口与中兴通讯的CSON(Center Self Optimization Network)业务系统对接,实现数据从NDS(Network Data System)采集到业务分析的全流程支持,为客户带来价值。

-B模式

客户直接使用AI Explorer中已有的实验,使用过程中只需要少量的参数,它的输出相对简单,可能通过一个表格阐明一个趋势,或为采取一个措施提供依据。本模式中,客户也可以基于AI Explorer创建自己的实验。

完整的业务模型往往由多个实验共同组成,如果用户直接在原始实验上修改参数,操作会非常复杂且容易出错。一般先设计多个小实验,然后用一个父实验串起小实验。

在某国外局点,研发人员针对具体需求设计了多个小型实验流程,主要由下面几个类型:负责原始数据接入的实验、预处理的实验、负责特征选择的实验、负责建模的实验、负责模型展现和输出的实验。然后创建一个父实验,在这个父实验中,每个算子都是上述实验类型中的一个实现,最终用户只能看到这个父实验,子实例的参数调整也在父实验中完成。这样,每个子实验相当于一个子模块,可以同时尝试多个备选子实验方案。

此种方式,在不同局点也容易推广,根据不同场景下的数据特点替换中间的某些子实验即可,这样还能保证父实验操作的一致性。

实践证明,以AI Explorer提供协作方面的功能为基础,以敏捷研发为依托,采用搭积木的研发方式,能够在短时间内快速调动不同领域人员的专业技能,进行快速研发、快速验证、快速交付,缩短了原始需求到最终客户之间的时间距离,保证了产品质量,提高了客户满意度,助力AI应用的普及。