自2022年底ChatGPT的商用发布以来,生成式人工智能经历了迅猛发展。2023年生成式人工智能开启了崭新纪元,2024年则见证了其快速普及,而2025年将是AI应用高速发展元年。据艾瑞咨询预测,到2028年,中国AIGC应用产业规模预计将达到7202亿元;到2030年,这一数据更将有望突破万亿元大关,达到11441亿元。AI应用技术类型逐渐丰富,场景应用趋于多元,生态建设日益完善,成为驱动新质生产力的核心引擎。
然而,AI应用落地各行业不是一蹴而就的,仍然面临诸多挑战。关键挑战在于,行业客户迫切需要引入AI应用技术对原有流程进行优化和改进,但客户本身可能对AI技术缺乏深入了解,难以将AI应用开发并部署到生产系统中,存在AI领域技术壁垒。因此,如何使能行业客户快速结合行业特点,开发和部署AI应用,是现阶段业界AI应用落地的焦点。
中兴通讯AI智慧工厂,一款AI应用开发平台,可以提供端到端工具链,涵盖语料处理到模型开发、训练、微调、推理部署以及AI应用开发全流程的极简模式,“低代码”甚至“零代码”助力行业客户模型开发以及应用开发部署,解决行业客户AI应用的“最后一公里”问题。
中兴通讯AI智慧工厂专注于AI应用的极简开发,有效屏蔽底层硬件和软件平台的复杂性,大幅降低大模型训推技术门槛。它使企业用户能够根据企业特定的业务逻辑快速开发AI应用。智慧工厂分为开发态和运行态两大部分,开发态提供开发的完整工具链,运行态提供运行的最小资源环境(见图1)。
智慧工厂关键组件包括模型增强组件、RAG Studio、Agent Studio、Work Bridge、资产组件等。
模型增强组件提供模型微调自优化能力,包括TP/PP并行自动寻优、网络拓扑最佳匹配、GPU算力自适应选择等,在用户无感的前提下最优进行模型微调,吞吐量、样本处理速度及GPU负荷等指标可观测;预置模型压缩能力,自动采用剪枝、蒸馏、量化等技术压缩用户训练或微调后的模型,降低模型的资源开销;提供推理服务自动化部署能力,部署后的推理服吞吐量、TTFT、TPOT等指标可观测;支持大小模型协同,对同一AI应用需要的多个大小模型,对外呈现统一的服务化接口,降低应用开发复杂度。
基于RAG Studio,客户可基于自有语料快速构建私域向量数据库,向量数据库构建过程支持数据的预处理、安全检测、分块以及向量化等操作,向量化模型可定义可配置;基于环境中预置的RAG模板,客户可快速定制化地开发自己的RAG;开发完成的RAG,支持通过客户自己的评估数据集或系统自动生成的评估数据集两种维度进行评估。
客户基于预置的Agent模板,可快速开发自己的智能体应用;智能体开发支持长短期记忆体变量设置,思维规划生成与设置,工具或API设置等操作,客户可以通过GUI的方式快速完成智能体开发;开发完成的单智能体或多智能体,支持从业务、性能及安全维度全方位测评打分。
作为工具/插件开发环境,Work Bridge提供了大模型所使用工具的开发环境。客户可在此环境中基于GUI界面,对大模型需要使用的工具/插件等进行定义及映射,以便在RAG/Agent Studio中调用,大幅降低了AI应用调用工具的复杂度。
AI应用开发过程中所收集或生成的信息以及开发的AI应用等均为系统的资产,资产包含知识资产、RAG资产、智能体资产以及各种基于AI智慧工厂开发的AI应用等,资产组件对客户在知识产权领域进行资产存储和安全保护。
行业客户可基于自身行业特点,采用中兴通讯AI智慧工厂的RAG/Agent模板,快速编排开发适合自己行业的AI应用,并一键部署至生产环境。智慧工厂会持续监测评估部署的AI应用,在应用出现偏差或达不到预期效果时,可以返回开发态进行迭代开发,再重新部署并进行监测,直至达到预期效果。
中兴通讯智慧工厂已服务于公司内部10多个产品线的20多个项目,其中基于RAG Studio构建的应用,商用产品准确率高达91.3%;基于Agent Studio为湖北某运营商开发的重保助手(Agent)已经商用上线,助力移动通信网络L4级运维能力提升。
中兴通讯AI智慧工厂通过提供从需求识别、设计到开发、测试、部署的全流程自动化闭环,显著提升了AI应用的开发效率与质量,降低了AI应用开发的复杂度。这一创新举措不仅使能千行百业实现AI应用的快速部署与业务自动化,还极大地推动了数智经济的蓬勃发展。中兴通讯AI智慧工厂正为数智经济的未来筑路搭桥,引领着AI应用开发向更加智能化、高效化的方向迈进。