面向多媒体网络的ＤＳＰ技术

１ 引言

    通信网的多媒体化发展趋势充分体现了现代社会对信息多元化的需求，这种变化已经引起了一系列的技术变革，ＤＳＰ技术就是其中较为明显的一部分。众所周知，多媒体网络不是一个独立新建的网络，而是在原有的数字网络基础上发展起来的，网络中传输的不再是单一的媒体信息，而是多种媒体信息的有机结合。这样的网络对它所传输的数字信号不是原封不动地照传照搬，而须根据不同目的对它们进行各种处理，因此，数字信号处理在多媒体网络中就成了一项举足轻重的技术。这也使得适于多媒体网络的数字信号处理和数字信号处理器（ＤＳＰ）必然要打破传统的格局，朝着多媒体信号处理的方向发展。

    从７０年代后期美国Ｉｎｔｅｌ公司推出第一个ＤＳＰ产品Ｉｎｔｅｌ ２９２０以来，在近３０年的发展中，各种ＤＳＰ技术的发展及其应用领域的扩大速度都很惊人。预计１９９７年，全球的ＤＳＰ销售额可达５５亿美元之多。以ＴＩ公司的ＴＭＳ３２０系列的发展为例，指令周期从２００ｎｓ到２０ｎｓ，浮点运算速度从３．３ＭＩＰＳ到１００ＭＩＰＳ，从单处理芯片发展到多处理器并行运算芯片。

    ＤＳＰ技术之所以得到广泛应用，主要因为它具有以下几点优势：一是具有很强的实时性，因为ＤＳＰ常常带有硬件运算器，使处理速度加快；二是具有较大的灵活性，因为ＤＳＰ的功能是通过面向芯片结构指令的软件编程来实现的。有一些ＤＳＰ还能通过更改底层微码来改变ＤＳＰ的结构和功能，而无须更改硬件平台；三是成本较低，因为ＤＳＰ并非是为某种功能设计的芯片，应用范围广、出片量多，因而可以降低芯片成本。

    从一般的数字信号处理过渡到多媒体信号处理，目前在技术上是从两个方面来适应的。一方面用原有的ＤＳＰ芯片来完成一些多媒体功能，如采用多个芯片共同完成对不同媒体信息的处理；另一方面，在原有芯片的基础上加以改进、扩充，以满足多媒体信号处理的要求。当然，完全从多媒体概念出发而设计的多媒体芯片也已开始出现，这将是今后面向多媒体网络的ＤＳＰ发展的主流。

２ 网络中的多媒体信息处理

    多媒体信息处理不同于一般的数字信号处理，为使各种媒体在网络中运行正常，就必须了解多媒体信息的基本特性，以及多媒体信息处理对ＤＳＰ的要求，列述如下：

（１）处理的数据量庞大

和文本信息相比，语音、图像的信息量显得十分庞大，因此要求ＤＳＰ运算速度快，具有实时处理的能力，具有高速存储器及Ｉ／Ｏ存取、快速数据再生和数据定位能力；在运算上要适应简单、规则、重复率高、速度快的算法。如果需要，还应具有并行运算和多机协同工作的能力。

（２）通信的码率可变、突发性强

多媒体数据流的码率是随着不同的信息内容、不同的时间而不断变化的。人们讲话时的停顿、场景图像中物体的运动等都会形成码流速率的突发波动。再加上采用了各种信息压缩编码的方法，就更加剧了这种变化。因此，ＤＳＰ要能适应复杂、不规则但运算量较小的算法及控制任务。

（３）复合性信息的同步性、实时性要求高

    多媒体通信系统中传输的是多种媒体的复合信息，各类信息之间存在着很强的时空关联，因此，对信息传输的同步性、实时性的要求也就相当高。

３ 多媒体网络要求及ＤＳＰ结构

    作为多媒体技术和通信技术相结合的多媒体网络技术，它必须能处理、传输和存取多种媒体，如声音、活动图像、数据文本、图形动画等，而且还要能通过网络以交互的方式进行，而不仅仅是简单的单向、双向或广播传输，要能够真正实现多点之间、多种媒体信息之间的自由传输和交换，在大多数情况下，这些信息的交互要做到实时进行。其间，必须对多媒体信息进行压缩和控制，不能对多媒体数据进行有效地压缩，就难以保证通信顺利地进行。因此，面向多媒体网络的ＤＳＰ的首要任务就是对信息的压缩处理，多媒体信息压缩技术的对象主要是图像、声音和文本信息这三大类。同样，如果不能对各种媒体信息进行有效地控制，就难以保证各种媒体之间的相对关系。这里的控制主要是指在信号的输入／输出、通信接口、媒体同步和网络连接等方面的关系。

    利用专用集成电路（ＡＳＩＣ）完成某项多媒体信号的处理，可使所用的硅面积和功耗达到最小，但它在算法修改方面缺少灵活性，一般较适合那些功能固定、数量大，如在消费类电子产品中的应用。普通的ＤＳＰ往往也难胜任多媒体信息处理的算法特点，因此能够有效利用硬件资源的、具有高度信息处理能力的多媒体信号处理器必须具有特殊的结构方式，这样的信号处理器在结构的安排上应该基于并行机制和自适应原则。目前，努力体现在这方面的多媒体处理器具有以下几种类型：

（１）单指令、多数据（ＳＩＭＤ）结构

    其目标在于数据的并行机制，它可以在若干数据通道中的不同并行数据流上执行相同的操作。当然，单纯的ＳＩＭＤ结构对复杂的多媒体应用并不是一种很有效的解决方法，它适于具有高度规则的计算模式。

（２）分裂算术逻辑部件（Ｓｌｉｐ－ＡＬＵ）结构

    它和ＳＩＭＤ原理类似，可以将若干个低精度数据项在同一个ＡＬＵ

中进行并行处理。这种方法的优越之处在于它所增加的硬件成本少，可供那些已广泛存在的ＡＬＵ使用。近来，有些通用处理器的多媒体功能扩展就基于这一方法。但当它处理高精度或长字节数据时，可用的数据并行机制就有所减少。

（３）超长指令字（ＶＬＩＷ）结构

    这是指令级的并行机制，它在一个长指令中，安排了若干个操作在多个功能单元中同时被执行。这种方法的优越性在于设计的简化，不需要动态码再排序的硬件支持。ＶＬＩＷ结构将复杂性从硬件移到了编译器，它的处理依赖于指令编译的快慢。然而，实际运行中编译时间很难预料，因此对于编译时间必须考虑最坏的情况。

（４）多指令、多数据（ＭＩＭＤ）结构

    这是任务级的并行机制，它的特点是具有若干个带有控制单元的并行数据通道。因此，ＭＩＭＤ处理器对并行算法可提供极高的灵活性。然而，它要为多个控制单元及存储系统花费更多的硬件资源。此外，同步和可编程方面的困难现在已经阻碍了ＭＩＭＤ处理器多媒体应用的进一步扩展。

    以上几种结构虽对并行运算有较大的改进，但仍然存在这样或那样的问题。因此，面向网络应用的多媒体信号处理器的结构设计，必须考虑包括软件和硬件在内的各种参数之间的内在关系，最好采用同时考虑算法结构的共同设计法。把算法划分为易于被处理的若干模块，把结构划分为有利于特殊应用的形式，这样的设计方式，自然就导致了类似主、协处理器的结构。图１可以帮助理解这种适应多媒体信息的高性能处理器的结构。它具有两部分：一部分由一个如ＶＬＩＷ结构的精简指令集计算机（ＲＩＳＣ）内核组成，作为可编程处理器的基础，用于计算量不大但比较复杂的操作；另一部分主要是硬件加速器，如处理器阵列，可用于计算量大但非常有规律的运算。

    总之，将来的多媒体信号处理器的实现是对两个设计部分的最佳折衷。例如Ｐｈｉｌｉｐｓ公司的单片ＭＰＥＧ－２视频编码器芯片就是如此，目前这种廉价的单片解决方式仅限于在ＭＰＥＧ－２的ＭＬ＠ＳＰ档次上用于记录Ｄ－ＶＨＳ或ＤＶＤ信号。将来，超大规模集成电路（ＶＬＳＩ）技术的进步将允许更灵活结构的ＤＳＰ能够经济地实现，允许ＤＳＰ逐渐从比较规则的应用转向高复杂性的应用。

４ 用于多媒体网络的ＤＳＰ

    多媒体信号处理（ＭＭＳＰ）和处理器是一门新兴的学科和技术，它并不是面向单一的对象，而是强调面向复合对象，它需要和其它学科互相交流，不断开发出新的技术。ＭＭＳＰ在多媒体通信领域已经利用并且应该利用“普通”的信号处理方法。这里介绍几种现有的多媒体ＤＳＰ或具有多媒体功能的ＤＳＰ，其中，ＴＭＳ３２０Ｃ８０可归类为通用型，其它的可归为专用型。

    （１）１９９４年美国ＴＩ公司推出的多媒体视频处理器ＴＭＳ３２０Ｃ８０（以下简称Ｃ８０），不但比以往的ＤＳＰ具有更强的数字信号处理能力，而且更侧重于多媒体视频信息的处理。它的硬件结构采用了并行多处理器的主从工作方式，片内包括４个并行数字信号从处理器（ＰＰ）和１个ＲＩＳＣ主处理器（ＭＰ），以及共享的片内存储器、传输控制器（ＴＣ）、视频控制器（ＶＣ）和缓冲存储器（Ｃａｃｈｅ）等。

    Ｃ８０处理器结构框图。主处理器是３２位的，带有浮点硬件运算单元（ＦＰＵ），可在单周期内完成一个６４位数据和３２位指令的存取，支持图像处理、３Ｄ图形处理等有关指令。ＭＰ通过６４位端口访问片内的Ｃａｃｈｅ和ＳＲＡＭ。４个并行从处理器（ＰＰ）具有３２位整数单元，可同时执行程序，也可以在多指令、多数据（ＭＩＭＤ）设置下单独工作，一个周期可执行多个并行操作。每个ＰＰ都通过３２位的局部口（Ｌ）和全局口（Ｇ）来访问片内ＳＲＡＭ。ＶＣ可用于同时对图像进行采集和显示。ＴＣ可与ＤＲＡＭ、ＶＲＡＭ、ＳＲＡＭ直接接口，可变数据宽度为８～６４位，数据吞吐率高达４００Ｍｂｉｔ／ｓ。处理器、接口单元和片内存储器之间的连接可通过交叉接线网设置。Ｃ８０的指令周期为２５ｎｓ，具有５０ｋｂｙｔｅ的片内ＳＲＡＭ，运算速度可达每秒２０亿次，采用０．５μｍ的ＣＭＯＳ工艺，集成约４００万个晶体管。ＴＩ公司还推出了与Ｃ８０相配套的软、硬件开发工具。

    （２）美国Ｄｉｇｉｔａｌ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ公司于１９９６年底推出的最新ＤＳＰ器件ＣＤ２１２３０，主频为７０ＭＨｚ，支持多种视频和音频国际标准，如ＭＰＥＧ－１、Ｈ．２６１、Ｈ．２６３、Ｇ．７２３、Ｇ．７２２等。它可同时完成视频编码／解码运算，图像格式可以是ＣＣＩＲ６０１格式或ＣＩＦ／ＱＣＩＦ格式。

    它的信号处理任务是由ＣＤ２１２３０芯片和主机的ＣＰＵ分担的。ＣＤ２１２３０完成对图像数据的处理，ＣＰＵ完成总体控制、比特流的编解码工作。它允许算法用高级语言编程，具有和ＰＣＩ局部总线、视频信号、音频ＤＳＰ、ＤＲＡＭ及其它外部器件的接口。

    （３）ＡＶ４４００Ａ是美国ＡＴ＆Ｔ公司１９９５年推出的单片音频／视频信  号处理器，它是将音频和视频处理集成在同一块芯片上。它可以进行Ｈ．２６１、ＭＰＥＧ－１、Ｈ．２６３、Ｇ．７２３等标准的压缩编解码。

ＡＶ４４００Ａ的结构基于一个３２位的ＲＩＳＣ处理器内核和一个用户可编程的信号处理器阵列，并可用微码设置其功能。它有一个数字视频、音频接口，只需要一个外部ＲＡＭ用作数据缓存空间、帧存储器和微码缓冲存储器。该芯片采用０．５μｍ的ＣＭＯＳ工艺，主频为９０ＭＨｚ。一个由ＡＶ４４００Ａ所组成的低速多媒体通信终端的构成框图。

    （４）另外还有美国８×８公司的用于多媒体通信的单片视频编解码器（ＬＶＰ），这是该公司的多媒体芯片系列之一。ＬＶＰ包括一个ＲＩＳＣ微处理器和一个由微码设置的视频信号处理器。ＲＩＳＣ可由外部ＲＡＭ来设置（在脱离主机使用时），它具有３２位宽度的指令和数据。与此类似的还有美国Ｃ－Ｃｕｂｅ公司的ＲＩＳＣ处理器ＣＬ４０２０和ＣＬ４０４０。它主要用于视频、音频及通信控制方面的信号处理，支持多处理器的并行工作。它具有３２位数据及指令宽度，主频６００ＭＨｚ，处理速度为２４０ＭＯＰＳ，带有视频接口和３２位主机接口。实用时，它还可根据任务的复杂程度来决定采用单片或多片工作方式。

５ 多媒体ＤＳＰ技术的发展趋势

    网络上的实时传输为多媒体数据处理的应用提出了许多实际问题，这些问题的涉及面很宽，目前有两类问题较引人注目。

    第１类是与信号压缩技术有关的问题，它是现代网络，特别是分组网所提出来的，包括误码、丢包、延时、抖动等问题。因此在网络应用中，信号压缩技术需要有所改进。经典的信号压缩是为取得最大可能的压缩比，压缩和传输两个环节一般是分别予以处理的。这样所形成的压缩算法通常不能符合网络传输的需要。例如，在典型的多媒体多路广播中，网络用户终端的带宽范围可以从低速调制解调器电话回路的２８．８ｋｂｉｔ／ｓ到光纤线路所高达的１５０Ｍｂｉｔ／ｓ。如果满足宽带用户的压缩率，将完全排斥窄带用户；而如果使用窄带广播，则不会被宽带用户所接受。如果同时广播若干个数据流，则会成倍地增加主干网的带宽。为此，要求所设计的压缩算法必须能提供简单易行的数据流分层提取功能，即可从同一个数据流中提取不同速率的数据。另外，在分别设计压缩和传输的情况下，成功的压缩算法除去了所有的冗余度，被压缩的数据就要求完全无误码地传输。否则，一幅被压缩的图像仅仅丢掉一个比特，整幅图像就有可能不能被解码。为此，多媒体数据鲁棒性的增强和有效的误码掩盖技术必须在接收机中结合使用，将误码的影响降至最小。

    第２类是对知识产权（连同所传输的多媒体数据）的保护问题。在宽带网络日益普及的将来，非法拷贝和删除数据信息将会很容易。除非建立一种机制来保护内容提供者的权力，否则多媒体网络的商用范围是极其有限的。尽管知识产权的保护不完全是一个信号处理问题，但它可能在技术方面起积极作用。例如，利用信号处理技术在媒体中隐藏一个水印或者识别信息，就可以起到一定的保护作用。水印不仅可以标志或识别内容的原始拥有者，如图像的原创者，而且还可以识别一个被授权拷贝的用户，如水印在一个非法拷贝中被检测到，那么这个侵权者就有可能被追踪到。

    以上两类问题的解决将有助于多媒体信号网络应用的迅速普及。

在ＤＳＰ理论和算法方面，人们正在继续研究和开发新的多媒体信息处理的算法和技术：在图像方面，如对模型基、神经网络、模糊集合、混沌、分形等图像处理算法的研究；在声音方面，如对语音信号识别（包括对特定人和非特定人）、合成和输入等技术的研究；在文本方面，正在进行文字识别和输入方面的研究，例如印刷汉字、联机手写汉字和脱机手写汉字的识别及输入技术。

    在ＤＳＰ的实现中，为了满足各种通信媒体及各种应用需求，一种将ＡＳＩＣ和ＤＳＰ结合起来的技术已逐渐成熟，即在设计ＡＳＩＣ时，将一种或几种ＤＳＰ核心嵌入其中，形成ＤＳＰ内核，同时再加上用户自己特有的接口电路、外围电路、存储单元及其它一些功能模块，可以将原来含有ＤＳＰ的功能板压缩在一块芯片内完成。这种以ＤＳＰ为核心的ＡＳＩＣ设计方法增加了芯片的灵活性，加快了设计进程，降低了设计费用，可满足不少多媒体应用的需求。

    多媒体网络的进一步发展，必然要给作为网络主体的计算机本身带来变化。例如，为了解决多媒体信息的实时处理和宽带传输要求，以往是在计算机上增加ＡＳＩＣ或ＤＳＰ来解决，但前者功能单调，缺乏灵活性，后者增加了软件开发工作的难度。１９９５年，Ｉｎｔｅｌ公司推出了重新分配ＰＣ系统资源的主体信息处理（ＮＳＰ）的概念。采用这种方式的ＣＰＵ可以完成过去只有通过附加ＡＳＩＣ或ＤＳＰ才能完成的那些功能。这样可以简化多媒体计算机的系统设计，降低系统成本，便于软件的开发和互通。基于ＮＳＰ的ＰＣ具有强大的多媒体信息处理的功能，可以方便地和多种通信网相接，获取或发送多媒体信息。

    从某种意义上来说，所有计算机的ＣＰＵ都是一个信号处理器。因此，随着计算机水平的上升，除了ＣＰＵ运算速度不断加快的发展趋势外，另一个发展趋势是将各种多媒体信息处理功能直接做在计算机主板上，甚至做在ＣＰＵ里面。例如，Ｉｎｔｅｌ公司的奔腾Ｐ５５Ｃ处理器就是一种具有多媒体扩展功能（ＭＭＸ）的芯片。除此以外，还将大力发展并行的计算机工作模式，目前已能做到近百万个处理器的并行工作，将来争取做到上千亿个处理器的并行工作，这个数目已和人脑的神经元的数目相当。在将来的多媒体终端上，不仅可以完成今天所有的各种多媒体信息的交互业务，而且还能出现今天所想象不到的新业务。６ 结束语

    由于多媒体网络技术是一项崭新的技术，随着电子技术的飞速发展，ＤＳＰ技术会不断地更新换代，因此，上述各种ＤＳＰ的进展还仅仅是开始，更新的发展还会在日后的应用中不断涌现。□

（收稿日期：１９９７－１２－１９）

[摘要] 本文通过对面向多媒体网络应用的ＤＳＰ技术的讨论，阐述了多媒体信息的基本特性，分析了多媒体网络对ＤＳＰ技术的要求，并列举了几种典型的面向多媒体应用的ＤＳＰ芯片，最后探讨了今后ＤＳＰ技术在网络应用方面的发展趋势。

[关键词] 数字信号处理 多媒体网络 多媒体信号处理

[Abstract] Ｂａｓｅｄ ｏｎ ｔｈｅ ｄｉｓｃｕｓｓｉｏｎ ｏｆ ｔｈｅ ｍｕｌｔｉｍｅｄｉａ－ｎｅｔｗｏｒｋ－ｏｒｉｅｎｔ-ｅｄ ＤＳＰ ｔｅｃｈｎｏｌｏｇｙ，ｔｈｅ ｐａｐｅｒ ａｎ-ａｌｙｚｅｓ ｔｈｅ ｂａｓｉｃ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｍｕｌｔｉｍｅｄｉａ ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ ｔｈｅ ｒｅｑｕｉｒｅｍｅｎｔｓ ｏｆ ｍｕｌｔｉｍｅｄｉａ ｎｅｔ-ｗｏｒｋ ｔｏ ＤＳＰ ｔｅｃｈｎｏｌｏｇｙ，ｉｎｔｒｏ-ｄｕｃｅｓ ｓｅｖｅｒａｌ ｔｙｐｉｃａｌ ＤＳＰ ｃｈｉｐｓ ｕｓｅｄ ｉｎ ｍｕｌｔｉｍｅｄｉａ ｎｅｔｗｏｒｋｓ．Ａｔ ｔｈｅ ｅｎｄ ｏｆ ｔｈｅ ｐａｐｅｒ，ｔｈｅ ｄｅｖｅｌｏｐ-ｍｅｎｔ ｔｒｅｎｄｓ ｏｆ ＤＳＰ ｔｅｃｈｎｏｌｏｇｙ ｉｎ ｔｈｅ ｒｅｓｐｅｃｔ ｏｆ ｎｅｔｗｏｒｋ ａｐｐｌｉｃａ-ｔｉｏｎ ａｒｅ ａｄｄｒｅｓｓｅｄ．

[Keywords] ＤＳＰ Ｍｕｌｔｉｍｅｄｉａ ｎｅｔｗｏｒｋ ＭＭＳＰ