基于TriMedia处理器的H.324终端的实现

　随着信息时代的到来，单一的媒体服务已经不能满足人们的需要。因此，如何在现有通信网络的条件下为人们提供更好的多媒体服务已成为倍受人们关注的话题。与此同时，国际电联标准化组织先后推出了一系列与多媒体通信相关的协议，如基于ISDN网络的H.320系统、基于局域网的H.323系统、基于PSTN网络的H.324系统等，这些协议的颁布一方面保证不同厂家的产品能互通兼容，促进市场的有序发展；另一方面大大加快了多媒体通信发展的步伐，同时也使现有的通信网络得到最大程度的利用。特别是ITU－T于1995年底推出的H.324低码率多媒体通信终端协议，为在PSTN网上使用Modem进行多媒体通信提供了规范，它对现有电话网络不需任何要求。因此，对于普及程度最高的电话网络来说，H.324系统具有重要的实际意义和广阔的应用前景。

　　近来，用于多媒体通信的DSP芯片已有不少，仅我们实验和接触过的就有如美国ESS公司的LVP系列、TI公司的TMS320C80系列、德国汉诺威大学的Axpel1280系列、台湾华邦公司的W9960CF套片等。在我们进行了比较以后，决定采用美国Philips半导体公司的多媒体信号处理器TriMedia系列芯片TM1x00，目前已推出TM1000、TM1100和TM1300，它们是向下兼容的。这里介绍的是用TM1100实现的H.324实验终端，只要稍作改动即可以升级到TM1300系统。

　　1 H.324系统简介

　　这里结合图1所示H.324终端组成，简要介绍一下与我们研究、实验相关的几个模块。

图1　H.324系统组成

　　(1)H.263/H.261视频编解码

　　H.324系统提供视频通信并支持H.263、H.261视频编解码器。其常用标准化的图像格式有：16CIF、4CIF、CIF、QCIF、SQCIF。其中，CIF和QCIF是在H.261中定义的。而在H.263中又增加了其它3种，除SQCIF格式外，各种图像格式的像素纵横比和CIF格式一样。

　　H.263视频编解码器是一种经典的图像编解码方法，即将减少时间冗余的帧间预测编码和减少空间冗余的剩余信号变换编码结合起来。在基本编码算法的基础上，H.263还有4个可协商的编码选项：非限制运动矢量、基于语法的算术编码、高级预测编码和PB帧编码。这些编码选项可以一起或单独使用以改善编码性能。为了进一步改进编码图像质量，最近推出的H.263＋又增加了十多个选项。

　　(2)G.723.1语音编解码

　　PSTN信道上传输的码率最高只有33.6kbit/s，在多媒体应用中，视频信息要占据大部分带宽，因此能够分配给语音的带宽很低。在H.324中，语音编码采用G.723.1所规定的参数编码方法，有5.3kbit/s和6.3kbit/s两种码率可供选择。G.723.1对语音信号采用线性预测分析合成法进行编码。对于激励信号，高码率时采用多脉冲极大似然量化(MP－MLQ)的方法，低码率时采用代数码激励线性预测(ACELP)的方法。高码率的编码器比低码率的编码器稍好一点。

　　(3)H.223信道复用

　　H.223协议规定了多媒体信息的包复用帧结构、域段格式及其复用过程。该协议基于分组原理，主要是为高层实体如数据、控制协议或音、视频编解码器之间交换信息而设计的。它可用在在两个终端之间，或一个终端和一个MCU,或一个终端与一个协议适配器之间使用。复用单元主要分两层：适配层和复用层。每层完成的功能不同，层之间用原语完成通信。符合H.223标准的流媒体，通过物理信道传输。

　　(4)H.245通信控制

　　H.245协议负责音/视频编码、数据处理和复用过程的统一控制和协调，保证系统的正常工作。从通信最初的呼叫建立、主从关系判决、通信能力交换、命令和指示消息的发送、通信的结束等操作都需要控制单元来参与。H.245协议所覆盖的范围很广，包括存储/重传、发送消息、服务分配以及会话。该协议适用于使用H.220.0、H.223和H.225.0复用协议的多媒体通信系统。

　　(5)通信接口和Modem

　　H.324终端使用的Modem 应工作在全双工、同步模式，并符合V.34和V.8协议，对V.8的支持是可选的。发送端Modem把H.223复用后的流媒体变成模拟信号在PSTN上传输，而在接收端则将模拟信号解调成单一同步的信息流，再送H.223解复用单元。在H.324终端中，我们将通信接口部分做成一个独立的模块，以增加系统的灵活性，将来只要更换不同的通信接口模块和相应的软件，就可以应用于不同的网络环境。

　　2 TM1100的结构及性能

　　TM1100是Philips公司推出的高性能多媒体DSP的TriMedia系列产品之一，在一块芯片上能同时处理语音、视频等媒体信息。

　　在TM1100内有一个高效的以VLIW为核心处理器(DSPCPU)，用于实现具体的算法和对芯片上所有单元的协调和调度。该处理器运行在实时操作系统下，能提供中断和片上其它单元的通信。CPU使用VLIW指令系统，在一个机器周期上可并行进行5个操作，每个操作又能包含若干个RISC操作。TM1100内部还包含一个高性能的总线、易于存储访问的内存系统、16kB的数据高速缓存以及32kB的指令高速缓存。总线包含有32位数据线和32位地址线，能进行32位线性地址空间寻址，其中含有128个32位的通用目的寄存器。

　　TM1100对外具有I2C总线、PCI和串行通信接口。I2C总线接口便于TM1100能够脱离计算机独立工作。具有32位或64位的PCI接口的最高工作频率为33MHz，峰值吞吐量在32位时为132Mbit/s，64位时为264Mbit/s，以便于TM1100和计算机相连。串行通信接口是TM1100系统接入PSTN网的双向通道。

　　TM1100具有直接的数字视音频的输入/输出单元，方便了各种多媒体应用。视频输入单元可以直接接收CCIR656/CCIR601标准的YUV视频数据，并按照用户的要求设置不同的捕获模式或不同的传递模式。视频输出单元把SDRAM中数据转换成PAL制或NTSC制的模拟视频输出。音频输入/输出单元可以直接接收和发送串行的语音数据。

　　为了减轻DSPCPU在图像处理方面的负担，TM1100采用了并行于DSPCPU独立工作图像协处理器(ICP)和变长解码单元(VLD)。例如,可以由ICP来完成图像的缩放和滤波等工作。VLD单元能协助实现哈夫曼解码，以提高视频处理的效率。

　　3 H.324系统的实现方式

　　(1)基于PC机软件实现的H.324系统

　　基于PC机软件实现的H.324终端主要是利用了PC机的处理器CPU，由CPU完成音、视频、数据处理以及通信控制等工作。这一方法的主要优点在于充分利用PC的计算能力，降低实现成本。但对于音、视频信号的采集，各种通信网络接口设计与实现，还需要配置一定的辅助硬件设备来完成，如视频采集卡、声卡、调制解调器等。较之全部利用硬件的实现方法，其花费是很低的。特别是由于近年来PC的飞速发展，尤其是MMX技术的引入，使CPU对多媒体信息的处理能力有了较大提高，基于PC软件的多媒体通信终端相继推出并走向市场。

　　我们在研制H.324终端的过程中，首先实现的就是这种方式。一方面，它使我们对H.324系统有着更深入的了解；另一方面，也是更为重要的，我们在此平台上开发出更新、更快的编码算法。这套以C语言为主的视频、语音和控制协议的形成和优化，为开发基于多媒体DSP的H.324终端打下良好的基础。

　　(2)基于TM1100的H.324系统

　　基于PC机方式的H.324系统必须要有计算机支持，而且在使用时要占据CPU的绝大部分处理能力。因此，在很多应用中不适合采用这种方式。于是，我们开发了基于多媒体处理器技术的独立机型的H.324实验终端，图2就是这个基于单片TM1100的H.324系统框图。

点击放大
图2　基于TM1100的H.324系统框图

　　在此系统中，TM1100主要承担视频/语音编解码、码流复用和通信控制等任务。图2中的阴影部分为我们自己所开发的软件模块，软件模块之间的协调处理采用嵌入式实时操作系统PSOS系统来管理。与通常Windows操作系统相比，嵌入式操作系统通常具有内核小、可靠性高、实时性好、事件驱动方式等优点，提供了标准的基于开放系统的多任务环境，可驻留在UNIX或DOS操作系统的计算机上，还能通过串口或TCP/IP协议进行通信，特别适合于开发独立机型的多媒体通信终端。

　　H.324终端设备驱动函数API、PSOS系统用户界面软件和硬件关系如图3所示。开发平台的系列硬件为系统的底层，由PSOS系统实时操作系统统一对其管理。在操作系统的基础上开发各种不同硬件的底层驱动函数如音频和视频编解码器的驱动函数以及输入、输出模块的驱动函数，这些函数可供开发应用系统时调用。H.324终端中的整套系统软件正是在这些驱动函数的基础上，利用实时操作系统所提供的服务开发完成的。

点击放大
图3 　H.324终端的软硬件关系框图

　　4 编码算法的优化

　　(1)从3个层次进行优化

　　为了保证视音频信号的实时处理，不仅要使TM1100运行正常，更重要的是必须对主要的编解码算法进行优化。我们的优化工作分别从程序总体框架、具体算法的实现、程序代码这3个层面来考虑的。这种从分层的角度来实现算法和优化的方法符合自顶向下、逐步细化、模块化的程序设计方法；各层之间相对独立，可根据需要对不同层次单独进行考虑；模块之间相对独立，对某一层的优化只要保证和另外两层的接口关系不变即可，有利于程序的移植和再开发。例如对帧间编码函数框架，可以从全局的角度对其程序结构和数据结构进行优化，避免大量不必要的运算，提高程序的运行效率。

　　其中，代码优化包括使用编译器对程序的自动优化和编程者的手工优化两种方法。TM1100的VLIW编译器会针对本身的RISC结构对应用程序进行相应优化；由于编译器本身的局限，在编译前对程序的手工优化是必不可少的。

　　(2)TM1100优化的一般方法

　　有效地应用TM1100开发系统的一些基本的技术和工具，将使程序效率显著提高。首先可以进行编译器自动的优化，如采用基于侧面信息的嫁接(Grafting)、全局优化等技术可获得相应性能改善。全局优化可在TM1100的SDE或集成环境CodeWarrior中通过提供编译参数决定，由编译器自动完成。其次，可以进行循环优化，如去除if语句、解开循环语句等。

　　(3)运动估计算法的优化

　　运动估计是通过参考帧图像所产生对被压缩图像中运动物体的位移进行计算，其准确程度对帧间编码的压缩效果非常重要。最简单、但也是运算量最大的方法是全搜索(FS)法。为减小运算量，常用的快速搜索方法有二维对数法、共轭方向法、正交搜索法、三步法等。我们自行开发的搜索算法是基于块的梯度下降的搜索算法(BBGDS)，它是在新三步法(NTSS)的基础上改进而得。它进一步利用了视频信息的运动统计特性，并假设全局的最小误差点在搜索中心的邻域内是单调失真的。BBGDS的搜索步骤数不定，它取决于搜索范围的大小和最小MAD点是否位于搜索中心。此外在运动估计方面还作了一些如定制操作(Custom operations)、匹配算法等代码级方面的优化。

　　(4)DCT算法的优化

　　二维DCT变换，大约占用了编码时间的10％以上，故对DCT算法进行优化，是提高TM1100工作效率的主要工作之一。对DCT模块除了框架级和算法级的优化外，还必须进行代码级优化。在考虑从TM1100的VLIW结构对DCT算法进行代码级优化时，总的原则是根据DSPCPU一个时钟周期可并发5个操作的特点，尽可能使每个时钟周期内的5个时隙充分利用；同时，减少不必要的判断和跳转以及判决树的数目，在必要时用增加程序代码的方法以空间换取时间。

　　5 H.324系统的应用前景

　　(1)可视电话

　　可视电话是信息时代人们所期望的应用之一，随着DSP运算能力的提高和芯片价格的降低，在不长的时间里，H.324系统会成为一个巨大的市场热点。目前，制约着可视电话应用推广最主要的因素在于其昂贵的价格和不能令人满意的图像质量。可以相信，经过一段时间市场的培育，可视电话随着它的价格降低和图像质量的提高而进入到普通百姓家里是必然的发展趋势。

　　(2)远程多媒体监控系统

　　现有的大多数监控系统是一种专用系统，只有在监控室才能观看。如果采用基于PSTN的视频监控系统，责任人在任何地方，只要能上电话网，通过认证和鉴权都可以调看监控结果。这样可以降低监控系统的成本，同时更增加监控的高效、灵活和安全性能。

　　(3)基于桌面的视频会议

　　视频会议一直是多媒体通信的主要应用领域，基于各种不同网络的视频会议可以适合各种不同的应用场合，满足不同群体的应用需要。如果说基于ISDN和LAN网络的桌面视频会议是面向主要城市、面向企业应用的话，那么由于电话网络的十分普及，面向乡村、山区的H.324视频会议将是他们的首选。

　　(4)其它应用

　　H.324终端还可以应用在远程探视、聋哑人通话等多种场合。

　　总之，电话网络的普及、国际标准的制定、VLSI技术的发展、市场应用的培育等多种条件日趋成熟，为H.324终端的实现和应用创造了良好的客观条件。可以相信，随着价格的进一步降低，H.324终端将以更快的速度走近人们的生活。

[摘要] H.324系统是最具发展潜力的多媒体通信系统之一，随着芯片技术特别是多媒体处理器的发展，更加方便了基于DSP的H.324终端的实现。文章简要介绍了基于TriMedia处理器TM1100的H.324终端的实现及应用。

[关键词] 多媒体通信 H.324协议 数字信号处理

[Abstract] The H.324 system is one of the multimedia communications systems that have the greatest potential. With the development of chips and multimedia processors especially, the realization of DSP－based H.324 terminals becomes easier. The paper introduces the realization principles and applications of the TM1100－based terminal.

[Keywords] Multimedia communication H.324 protocol DSP