CI/CD：自动化测试加速产品交付

        随着5G时代的到来，电信网络逐步从传统网络向虚拟化方向迈进。借助于网络功能虚拟化（NFV，Network Function Virtualization）技术，运营商通过软硬件解耦，实现了硬件资源共享和应用快速上线，增强了业务快速响应能力。

        然而软硬件解耦也为运营商带来了新问题：大量设备商被引入到电信网络建设中，不同设备商设备间的兼容性验证、互操作测试等带来巨大的工作量，影响了设备商的产品交付效率，加大了运营商网络建设的难度。

        如何解决这个问题，成为运营商网络建设中的一大挑战。

业界的探索

        从2015年起，各运营商、设备商均针对此问题进行了积极探索。各大运营商陆续发起了多厂商间的兼容性互测试，多个组织（如NIA）发起了厂商间互测试，设备商也提出各种TaaS服务等。然而实际效果都不尽如人意。

        以国内某运营商的兼容性测试为例，4个虚拟层设备商、8个服务器厂商，兼容性测试前后耗时约半年，运营商和设备商均投入了大量人力。而此次测试后不久，各服务器厂商的服务器全面升级为新型号，很多测试项又需要重新测试。

        如果长期以这种方式进行互测试，不仅影响运营商网络建设，甚至连设备的正常更新周期都无法跟上。因此从2018年起，各运营商逐渐开始考虑通过自动化测试来解决此问题，同时也开始推动自动化测试的标准化、引入CI/CD（持续集成/持续交付）等工作。

自动化测试的应用情况

        当前运营商的自动化测试主要应用在ATP（Acceptance Test Procedure）阶段，来加速设备商的产品交付。由于各设备商VNF的差异大，而NFVI层（服务器+虚拟化平台）趋于同质化，因此现阶段的自动化测试内容主要聚焦在后者，且往往由运营商使用开源工具进行测试。

        以某运营商2019年底某项目交付阶段的ATP测试为例（见表1），其中NFVI已实现约45%条目的自动化测试，NFVI层测试至少可节省运营商40%以上的时间。在上述项目中，整个NFVI层的测试耗时约3个月（大规模资源池环境、反复进行测试-整改-测试），即通过引入自动化测试，实际缩短了近2个月的交付工期。

        后续如果MANO和VNF的测试也采用自动化测试（可自动化比例分别为54%和69%），预计可节省运营商50%的时间。以目前手工方式下单网元2周测试时间计算，此项目涉及18类网元，串行建设预期共可缩短交付时间9周（2个月）。

        由此可见，引入自动化测试能有效缩短项目交付工期。

CI/CD的引入

        将自动化测试的范围加以扩展，覆盖到各产品的PoC阶段，可充分缩短新产品/新版本在运营商网络环境中从引入到交付的时间。因此在自动化测试基础上，很多运营商进一步提出引入CI/CD，通过全流程的自动化测试来加速NFV系统/ 产品交付。

一个较完整的NFV系统端到端的CI/CD流程如图2所示。

        如图2所示，设备商的产品持续提供给运营商，并在运营商的Testbed中进行持续集成和迭代测试；在产品测试趋于稳定时即可进入预生产/ 生产环境进行正式部署和交付。在这一过程中，大量的自动化检查和测试被引入，极大加快了产品验证的时间。

        同运营商动辄数月的PoC测试时间相比，在引入CI/CD采用自动化测试手段后，新系统从第一次测试到最终在生产环境部署，可缩短至1~2个月完成。在充分提升可自动化测试项比例后，一个新VNF的引入到交付时间，理论上可缩短到不足2周，这使得5G产品的快速交付和5G业务的快速迭代成为可能。

CI/CD当前问题及未来趋势

        目前NFV建设中引入CI/CD主要有以下几个问题：

        -缺乏统一标准：大运营商通常采用自有架构，设备商的检查/测试工具需要多方适配；

        -设备商VNF实现机制各不相同，运营商开发自动化验收工具很困难，而设备商自身的自动化测试工具又难以获得运营商/友商认可；

        -NFVI/MANO/VNF当前阶段可进行自动化测试的条目覆盖率不高。

        CNTT（Common NFVI Telco Taskforce，隶属LFN）计划在OPNFV的基础上解决上述问题：

        -以基于Functest的Xtesting Framwork为基础实现统一的CI/CD框架；

        -引入Onap/开源仪表/开源工具等，实现VNF的Compliance（规范性测试）、Verification（On-Boarding/LCM测试）、Validation（网元API测试）、Performance等测试。

        目前，中兴通讯正在积极进行CI/CD的相关规划，预计2021年可提供相应产品。