高清数码转换连接家庭视频应用
2010-12-20 15:27:33
来源：半导体器件应用网
点击：1094
摘要
受到技术变化和高清晰媒体视频内容膨胀的驱动，对高清晰视频的需求在家庭消费市场中迅速成长。同时，在家庭中不同设备上播放视频或传输视频的需求也在不断增长，这就要求视频内容能适应目标显示设备，而这些显示设备可能不支持标准清晰度分辨率，更不要提高清晰度分辨率了。这些趋势要求能在不同的压缩格式间进行现场代码转换，以适应大数据量的高清晰视频播放。这些趋势还要求能将视频内容存储在不同的媒介上，并且能与采用不同格式的其它播放设备共享这些内容。
对消费视频系统的多格式支持成为市场发展的动力，也加大了对能提供优化的编解码和代码转换方案的媒体处理器的需求。执行这些处理高清晰视频数据的功能需要更大的处理能力和内存空间，这是当前的许多系统所不能提供的。为了确保图像播放的质量，代码转换对编解码算法提出了新的要求。德克萨斯仪器公司的高性能TMS320DM644xTM数字多媒体处理器和达芬奇技术提供了一个软硬件综合平台，用以支持在消费视频系统的开销限制下的代码转换。
数字化视频领域中的革命
视频电子消费市场正在经历一些显著的变化，这些变化变革着消费者享受视听娱乐的方式。电视正在向数字化高清晰(HD)显示器方向发展，主要是从传统的阴极射线管显示器（CRTs）向平板显示器转变。与此紧密相关的是，各个地方的电视广播也在按计划地完全转向数字化传播。未来十年内，世界范围内视频电子消费有着巨大的市场潜力，通过电话线传输的基于IP（网际协议）的服务（IPTV）、传统广播服务、卫星传输和有线传输服务也将不断发展，由此可以说数字电视（DTV）是广播产业曾经见到过的最重要的进展之一。除了电视之外，不同形式的局域网和广域网(LANs和WANs)也正允许在其上发送传统的视频广播和录影内容到各种新的设备，无论离家远近。除了提供数字电视接收的机顶盒（STBs），这些设备还包括：数字媒体适配器(DMAs)、数码录像机(DVRs)、便携式媒体播放器(PMPs)、个人电脑、可视电话以及其他有显示和录影能力的设备。
所有这些趋势正在急剧地改变着视频消费的方式。为了满足新的需求，视频系统开发商需要设计大量新型通信消费产品，但是他们必须清楚这些设计的复杂性。不同的应用决定了多种数据格式的存在，不同类型网络的带宽也是变化的。相比于其它信号，视频信号总是需要高带宽进行传输，并且其通常带有一个较小的音频流。视频信号和音频信号通常须实时传输。因此视频内容提供者正在寻求先进的信号编解码器，以腾出带宽，特别是对于更大吞吐量需求的高清晰显示。 尽管视频开发商追求着先进的信号编解码器，但是仍然存在两个问题：新的编解码器需要支持原代码和具有竞争力的新编解码标准。
这些因素都指明了需要代码转换：包括局部地转换代码的格式、分辨率、帧频和比特率，这样可使相同的音像信号源传输、存储、显示和展示在许多不同设备上。虽然代码转换早就应用在网络基础设备中，但是在电子消费产品中，人们才开始感受到它的重要性。在对成本敏感的大众视频用具消费市场中，为了提供高清晰度代码转换能力，系统开发商将不得不重新考虑其产品的设计方案。在相同的硬件设计环境下，为了支持各种应用的编解码要求，除了编程灵活性外，处理器必须具有更强的信号处理能力、更大的系统内存和更高的输入/输出带宽。这些处理器将提供一个有着高视频信号处理能力的平台，再加上芯片的内存和可提供视频设计的外围设备，该平台可以处理高清晰数据流信号。TI（德州仪器公司）的TMS320DM64XTM可编程多媒体处理器和达芬奇技术提供了以上这些性能和特点，在消费视频应用中，在灵活的代码转换设计的发展上它带来了巨大的优势。
数据格式变化
数字电视为高清晰度和标准清晰度电视 (HDTV和SDTV) 分辨率提供多种格式。 表1列出了其中最常用的格式，包括ATSC（北美先进电视系统委员会）和欧洲数字视频广播工程(DVB)采用的图像格式。除了拥有更高的分辨率，HDTV格式还提供了更大的图像显示宽高比，使其接近大多数电影图像显示的宽高比，从而可以不对图像进行修剪地播放电影。SDTV格式可以对有效接收的模拟信号进行数字化近似处理，这些模拟信号包括北美NTSC制式模拟信号和欧洲PAL/SECAM制式模拟信号。所有格式的帧频都是30帧每秒的NTSC制式帧频和25帧每秒的PAL/SECAM制式帧频的一倍或两倍。为了与影视制作兼容，这些格式也包括24帧每秒的刷新率。
HDTV要求的像素率显然高于SDTV要求的像素率。用12比特来表示一个像素，并且未经压缩的采样率为 的等效NTSC制式帧（480i60）需要400多万比特的存储空间；PAL/SECAM制式的等效帧（576i50）需要将近五百万比特的存贮空间。当然由于不同的帧频，这两种格式的总吞吐率是差不多的。1080i格式的HDTV每帧数据量是NTSC制式每帧数据量的6倍，而720p格式的HDTV每帧数据量是NTSC制式每帧数据量的2.7倍，如果采用更高帧频的720p60显示规格，HDTV每帧数据量将是NTSC制式每帧数据量的5.4倍。这两种HDTV格式正在被合理地使用：1080i60规格适合于显示高分辨率的静止帧图像，而720p60规格对于动态画面的显示效果更好。如果要处理以上两种显示格式的任意一种格式，那么该处理系统显然需要更大的存储空间和更高的吞吐率，而这是普通SD设计商提供的产品所不易做到的。
除了数字电视标准，数字视频还有许多其它显示格式，以满足不同类型的需求。在低端，最基本的显示格式是通用媒介格式（CIF），352×240像素的CIF帧可以表示四分之一的NTSC制式帧的数据量，而一个 352×288像素的CIF帧可以表示约四分之一的PAL/SECAM制式帧的数据量。在基于电脑网络的视频数据流中经常可见CIF及其子格式，比如QCIF(四分之一CIF帧像素(176×120，176×144)的视频帧格式)，这些格式为数字电视的分屏幕应用提供了基础。QCIF及其更小的子格式也经常在无线视频数据流中用到。
多倍CIF（4CIF，9CIF，etc）可以作为那些应用规模超过HDTV的有着较大商业市场的格式。除此之外，应用在电脑显示中的高清晰格式正在被娱乐媒体系统所采用。从1280×800像素的宽XGA(WXGA：宽屏扩展图形阵列)格式往上，这些格式的宽高比都是1.6，从而使它们相近，虽然它们有别于HDTV格式。
随着更多的系统试图共享高清晰视频内容，将数据发送设备的分辨率调整到目标显示设备的分辨率的能力变得越来越重要。无论HDTV输入的是1080i格式、720p格式，或任何其它格式，它都必须重新格式化(如果它没有被修剪)，以使其可以显示在任何更低分辨率的显示器上。即使是如WXGA 等HDTV和其它类型的高清晰格式都支持的数据格式，如果想不失真地在目标显示器上显示图像，就必须对数据进行重新格式化。在一些数据共享的应用中，重新格式化可以和代码转换并行，以减对小带宽和硬盘空间的需求。
数据传输和存储优化
比起大多数其他类型的数据，数字视频对带宽需求是巨大的。彩色采样 为 的无压缩1080i60规格的HDTV信号需要746.5Mbps的传输带宽，存放一个60分钟的视频需要336吉比特的空间。即使是如CIF般的小格式，在30帧每秒下用同样的彩色采样比例， 也需要36.5 Mbps的传输带宽，存放一小时的视频需要超过15.5吉比特的空间。另外，视频信号中伴随的音频数据流虽然不大，但仍然会对上面所列的那些数据产生重要影响。为了适应可获得的网络带宽和存储能力，显然需要对数字视频数据进行压缩处理。
今天，业界仍然采用建立已久的MPEG-2（活动图像专家组规范2）视频编码标准，该标准主要用于压缩SDTV格式和HDTV格式数据。在 到 的数据压缩率之间，MPEG-2标准能够高精确地还原被压缩的复杂视频信号。更先进的编码标准的数据压缩率通常在60:1到100:1之间，如H.264/MPEG-4的第10部分/AVC和WMV9/VC－1等标准，对于同样的数据内容，这些标准比MPEG-2提高了一倍的压缩效率。为了节省带宽，即使在没有分辨率调整的情况下，视频服务供应商都开始将MPEG-2标准处理的数据内容用更为先进的编码标准处理。采用先进的编码标准压缩视频数据的这股趋势正在逐渐展开，所以代码转换的需求仍然存在，因为需要将先进的编码标准向下兼容原有的传统编码标准，以使那些仍在使用旧设备或记录媒体的服务供应商或者私营网络能够运作。由于中国自行发展了一套新的视频编码方案，比如用于数字电视的AVS1.0标准和用于移动视频的AVS-M标准，更不要提那些需要代码转换的各种各样的音频标准，这就使数据代码的兼容性问题变得更为复杂。为了在各种压缩标准之间进行代码转换，那些应用广泛的视频产品的设计就需要灵活性。
有线服务和卫星服务可为高清晰视频的单通道传播提供足够的带宽，不过如要为高清晰视频传播同时提供尽可能多的通道以满足高清晰度播放，就需要更高效的视频压缩技术。IPTV（交互式网络电视）和蜂窝式视频传输技术能处理这些数据。对这些网络来说，先进的编码技术能弥补间断的迅速的视频帧和视频图像之间的差别，使画面看起来足够流畅。表2列出了不同编码技术对家庭录影数字视频数据（352×240像素每帧）传输吞吐量的影响，这些数据是经不同的电信媒体和局域网媒体进行传输的。例如，采用先进的压缩技术后，视频手机能达到18帧每秒的视频播放速率 (如果对象进行简单的运动，播放速率可能会更高)。通过这些媒体传输SDTV信号源内容需要进行代码转换，更不用说传输HDTV信号源内容了。进行代码转换是为了减小传输比特率和降低被编码代码的分辨率，当然，应该在传输速度和编码精度间找到一个平衡，以达到视频播放的最佳效果。
数据存储时压缩率也不一样，类似的编码问题申请数字视频记录。如今，DVD系统倾向于使用MPEG-2视频编码技术，而这些技术将落后于内容提供商逐步转向的先进编码技术。对接收到的H.264标准传输数据，机顶盒需要将其编码转换为MPEG-2标准，才能存储在遗产DVD设备上。应用H.264编码标准(也称为MPEG-4 AVC标准)的高清晰DVD和蓝光DVD记录系统也需要支持从H.264标准到MPEG-2标准的代码转换，这样就可以和遗产播放器共享数据内容。
电脑网络既可以是高清晰内容的来源地，也可以是高清晰内容的目的地。至少在近期内，电脑更有可能比消费娱乐系统使用WMV9编码标准（属于微软公司所有），所以对于共享家用电脑网络数据，这就要求代码转换能融合更多的编码标准，多于只共享HDTV标准数据的编码标准。此外，当视频供应商应用各种条件存取技术（CA）来保护自己的内容权限时，电脑业界已采用数字权限管理技术（DRM）。在CAs技术和DRM技术之间转录数据又是整个代码转换难题中的另一困难，这本身就与将所有家用电子系统互通的难题联系在一起。数字生活网络联盟（DLNA）（www.dlna.org）工业财团致力于发展家庭网络互通标准，如今，获得的大部分媒体产品都可用在DLNA标准的家庭网络上。已建立的DLNA互通机制使遍及整个家庭的视频共享需求增加，因此也促使了在这些系统中对代码转换的需求。
应用要求
最终需要某种方式代码转换的应用方案数目可能非常庞大。某些类型的系统，尤其是机顶盒、数字电视、数码录像机（DVRs）、网络便携式数码摄像机、手机电视和个人广播等将会最先体现出对这种代码转换的需要，比如像Sling Media公司开发的Slingbox。所有这些系统都需要与其它设备共享数据，其中有些系统还是家庭网络的核心组件。
例如，机顶盒和/或数字电视将不再局限于接收和播放传统的电视广播。相反，它们将为各种各样的应用提供服务，诸如网上冲浪、电子邮件、游戏、视频电话、IP语音（VoIP）电话、视频点播（VoD）、安全保卫和用于因特网流的数字媒体适配器等应用。因为机顶盒/数字电视将是家庭网络的连接枢纽，其显而易见地需要代码转换：在任意地点及任何时刻下，它可能需要支持家庭网络能收任意格式的各种类型多媒体内容。此外，机顶盒/数字电视系统需要能够实时地进行代码转换。用户通常希望立刻看到视频节目，而不是在稍后时刻。即使存储媒体内容用于以后代码转换的方法是用户可以接受的，但在系统中该方法可能是不经济的，因为它需要巨大的存储空间。
网络摄像机适合在家庭存储和播放视频娱乐，所以主要的代码转换可能发生在MPEG-2标准和H.264标准之间。然而，对于诸如WMV9和JPEG等其它标准的支持有利于扩展设备的用途。由于所有的标准都具备升级功能，所以数码摄像机的具有可编程性的设计优势就体现出来了。因为数码摄像机最主要的功能就是摄像，所以系统就能超越实时地加速代码转换，视频节目就能以比播放它的速率更快的速率存储到其它存储媒介上。
虽然数据储存要求更加严格，但便携式数码摄像机也面临着和网络摄像机同样的问题。对多标准的支持可以扩展便携式数码摄像机的应用范围，而不只限于视频播放。这些应用包括照相、音乐播放及游戏。Slingbox通过因特网将家庭网络扩展到远处，采用如Slingbox的这种个人广播，大多数网络将不能传输完整的高清晰画质的视频。即使这样，高清晰电视也可能是一个重要的视频内容增长源，因此为了减小带宽以及到目标播放设备的传输延时，采用主流的视频编码标准的代码转换是必要的。
其中最有挑战性的数据通信就是移动视频通信，这是因为通信带宽很窄而视频又必须是实时播放，并且为了延长电池使用时间还必须低功耗播放视频。此外，移动视频可能提供了最为广泛的应用服务，因为移动视频内容可配合语音和互联网提供视频会议、远程教育、商务往来和其它互动服务，也可以为电视、视频点播、游戏以及其它形式的娱乐提供服务。随着各种网络和手机参与广域无线通信，更不要提接收设备的变化，视频信号源将不得不调整数据传输的比特率、分辨率、帧频和编码格式，以符合接收设备的接收能力。用可达到的比特率来获取高质量的视频效果通常是蜂窝式服务供应商所倡导的，但是如果家庭网络也要为移动视频提供多媒体内容，这些服务供应商就将不得不面对以上那些技术挑战。
代码转换的算法考虑
在最简单的情况下，代码转换只包含两个步骤：对数据比特流进行译码；重新以不同的编码标准对数据进行编码，正如图1所示。这种毫无技巧的代码转换方法很容易实现，只需要一个解码器和一个编码器就行了。不幸的是，它不会带来最满意的结果，这是由于传播和压缩引起的失真会带来渐进的画质下降。此外，这种简单的代码转换没有利用各种数据处理技术，因此其需要处理更多的数据。与采用各种数据处理技术的高效算法相比，在处理相同的输入数据量情况下，这种简单的代码转换方法对处理器的性能要求更高，消耗的功耗也更大。
图1所示的流程将译码器的输出帧输入到一个完全编码器。如果要求画面缩放到不同的分辨率进行显示，则这一步一定是在最后的播放端完成。对于已经重新编码的完整高清晰分辨率画面，如果上述流程最后只需要输出分辨率相对较低的画面，则该流程就会浪费资源；相反，如果在译码和编码之间加入一些中间步骤，比如帧大小调整和内存缓冲，就可以提高流程的资源利用率，如图2所示。这样就使输出数据的压缩效率更高，并且符合显示画质的要求，同时还提高了处理器和存储器的使用效率。
和上面简单的代码转换方法相比，要明白智能代码转换器是怎样花更少的计算时间去获得更好的结果这一特点，可以参考下面的一个代码转换的例子：将高清晰MPEG-2广播视频转换到手机播放的VGA或者QVGA H.264基线姿态视频。
为了减小系统内存和输入/输出带宽开销，手机视频播放通常不但需要较低的视频分辨率和比特率，而且需要一个简单的编解码工具。播放MPEG-2流通常使用图像组序列，包括三种类型的编码帧：I帧、P帧、B帧。I帧图像采用帧内编码方式，仅使用当前编码帧的信息和空间冗余性；P帧具有前向时间预测性，利用先前解码帧作为参考信息和平衡帧间的时间冗余性。B帧是MPEG-2使用的第三种帧，其具有向前和向后的双向时间预测性，可以降低比特率。由于B帧的编解码具有双向特性，这就增加了系统需要的参考帧存储空间。为了在回放时支持如暂停或倒带等特殊播放模式，播放MPEG-2流视频还需要定时的I帧图像（通常是每半秒中一帧），不过由于I帧的存储位数大于P帧，这就会额外地增加带宽需求。例如，一个典型的图像组序列如下所示：
预测B帧需要一块内存来存放下一P帧或I帧。一般地说，预测B帧的好处是可以降低比特率；但对手机视频来说，考虑到系统延时增加、内存需求加大及译码复杂性增强，这点好处可谓得不偿失。为了减少手持设备的处理需求和内存大小，一定程度的数据丢弃是可以接受的，因此可以对图像组序列进行简化，使其不含有B帧。此外，由于I帧要耗费高带宽，通常图像组序列中I帧的间隔被拉长。结果如下所示：
在MPEG-2图像组结构和用于H.264 基线姿态（BP）视频比特流的新图像组结构间的代码转换过程中，知道原比特流中帧的类型是有用的。盲目地进行代码转换可能会犯下将原比特流中的P帧编码为I帧的错误，相比于I帧与I帧对应的正常编码，该错误会使图片质量下降。更进一步，在某些情况下需要将帧频从原比特流的30帧每秒下调到15帧每秒，这时知道原比特流中的哪些帧是B帧会非常有用。部分B帧甚至可能不需要译码，因为它们不需要用来预测原比特流译码中的任何帧。
为了提高重新编码为H.264规格的效率，代码转换还可以加入其它一些步骤。编解码器非常依赖用于平衡帧间时间冗余性的运动估计。采用智能型代码转换器，原比特流的运动矢量可用作重新编码过程的提示。通常，广播编解码器比消费类编解码器有更广的搜索范围，因为它们有更多的计算资源。在普通消费视频设备的计算资源情况下，原先的运动矢量能允许代码转换器有效地获取更多的运动估计。
说明在这种情况下，使用运动矢量的过程不完全是一味向前的，这是因为图像有分辨率的变化，同时在MPEG-2规格和H.264规格数据源的运动补偿工具间还有特征差异。为了充分利用知道原先运动矢量所带来的潜在好处，代码转换解决方案需要智能化。
有时候压缩信号会引入噪声，产生影响图像质量的人为失真。对译码器输出的解压数据进行简单地重新编码能加大这些失真，同时还会在代码转换后的视频中加大这些失真的影响。这些人为失真通常产生于宏模块的衔接口处，可以通过在译码后的MPEG-2视频上进行分块处理来消除这些失真。另一常见的人为失真被称为蚊噪，它是在陡沿附近大量的量化引起的。在采用新格式重新编码前，柔化环状亮度色斑（deringing）方法可以被用来尽可能减小这种失真。
这些步骤可以加入图3所示的代码转换流程中去。
TI公司的达芬奇技术和代码转换
作为TI公司达芬奇视频技术的硬件平台，TMS320DM644x数字媒体处理器用于支持视频系统的高吞吐率和多任务要求。基于TI的专为视频应用设计的TMS320C64x+TM DSP内核，具有可编程性的DM644x处理器在处理音视频编解码等实时性算法方面具有很高的性能。片上系统（SoC）集成了处理视频信号的DSP内核和成像协处理器，为视频信号的编解码提供了高速处理能力；另外片上系统还集成了精简指令集（RISC）处理器，用以实现用户接口、系统控制和编程方便。 DM644x结构集成了许多播放数字视频需要的外部模块，包括网络外围设备、屏幕视控系统(OSD)、视频数模转换器和一个高速存储器子系统，该存储子系统含有一个两级高速缓存和与外部存储器相连的接口，并且采用了增强型直接内存存取控制。图4显示了DM644处理器的特点。
可以对DM644处理器编程设置，从而支持任何数量的音频和视频标准。当网络结构和服务需要变化时，又很容易对DM644进行升级。安装在DSP和视频加速器上的对大量信号进行运算处理的软件系统和ARM上的运算控制为各种新兴的应用提供了性能提升空间。除了该处理器，达芬奇技术也提供基础软件系统、算法和应用编程接口（APIs），这些技术都促进了视频系统的发展。
凭借TI在DSP集成和数字视频的实力，针对高清晰视频代码转换的需要，TMS320DM644x结构能增加更多的功能。在完全可编程化的DSP控制下，对不同编解码格式的数据同时进行编解码的多格式支持，使得对各种应用中的视频数据进行代码转换变为可能，这包括机顶盒、数字电视、个人录像机、数字媒体适配器、视频电话、数码摄像机、监视系统、和其他一切在联网的家庭网络中需要的应用。可以提升DM644x结构的性能，使其具有超越实时代码转换的能力，这样无论何时需要，DM644都可使任意获得的视频内容转变为快速代码转换模式，能满足高清晰视频内容的高速重新编码的需要。
基于达芬奇技术的代码转换就如同普及数字家庭视频一样任重道远，不过在今天和不远的将来，该技术都符合市场需求。图5展示了一个DVD记录仪，其具有的代码转换能力是通过附加到主要DVD芯片集上的设备完成的，这可以作为怎样应用DM644x代码转换处理器的一个实例。
家庭联网，非冲突
高清晰电视和其它高清晰视频源正在为视频播放质量制定一套高标准，联网的家庭用户提供了在任何时间任何地点共享高清晰视频的潜力。针对视频压缩和显示格式的标准数量不断增加，再加上不同媒介的不同传输能力，这些都会使消费者感到迷茫，而且会使他们在应用中无法共享视频内容。解决的办法是使系统具有代码转换的能力，并允许视频内容可以自动共享，同时尽可能高效地利用带宽和存储空间。
对系统设计师来说，代码转换的变化趋势已经在那些具有先进的视频编解码器的系统中开始了，同时这些系统又不得不兼容原有的编解码格式。虽然这些娱乐系统都仅仅是个开始，但是高清晰视频内容将最终被显示在各种系统中，而且代码转换也将适应各种标准。设计者需要考虑哪些类型的平台能为他们提供具有高清晰视频代码转换的能力，同时这些平台还应有添加额外的标准或对原标准进行升级的灵活性。设计者也应注意到虽然高效的代码转换算法可以满足高质量的视频播发，但是这些加强都是基于处理器的设计。
TI公司的TMS320DM644x可编程处理器和达芬奇技术为高清晰视频系统提供了软硬件平台。DM644x结构是专门为高清晰代码转换和多编解码器多格式系统的发展而设计。这些特点，再加上可编程的灵活性和不断发展的软件，使达芬奇平台非常适合未来几年将进入市场的高清晰电视和各种视频应用。随着基于达芬奇技术的视频系统的到位，联网家庭将不再为各种播放格式的兼容性而烦恼，而能充分享受新技术带来的视听娱乐。
受到技术变化和高清晰媒体视频内容膨胀的驱动，对高清晰视频的需求在家庭消费市场中迅速成长。同时，在家庭中不同设备上播放视频或传输视频的需求也在不断增长，这就要求视频内容能适应目标显示设备，而这些显示设备可能不支持标准清晰度分辨率，更不要提高清晰度分辨率了。这些趋势要求能在不同的压缩格式间进行现场代码转换，以适应大数据量的高清晰视频播放。这些趋势还要求能将视频内容存储在不同的媒介上，并且能与采用不同格式的其它播放设备共享这些内容。
对消费视频系统的多格式支持成为市场发展的动力，也加大了对能提供优化的编解码和代码转换方案的媒体处理器的需求。执行这些处理高清晰视频数据的功能需要更大的处理能力和内存空间，这是当前的许多系统所不能提供的。为了确保图像播放的质量，代码转换对编解码算法提出了新的要求。德克萨斯仪器公司的高性能TMS320DM644xTM数字多媒体处理器和达芬奇技术提供了一个软硬件综合平台，用以支持在消费视频系统的开销限制下的代码转换。
数字化视频领域中的革命
视频电子消费市场正在经历一些显著的变化，这些变化变革着消费者享受视听娱乐的方式。电视正在向数字化高清晰(HD)显示器方向发展，主要是从传统的阴极射线管显示器（CRTs）向平板显示器转变。与此紧密相关的是，各个地方的电视广播也在按计划地完全转向数字化传播。未来十年内，世界范围内视频电子消费有着巨大的市场潜力，通过电话线传输的基于IP（网际协议）的服务（IPTV）、传统广播服务、卫星传输和有线传输服务也将不断发展，由此可以说数字电视（DTV）是广播产业曾经见到过的最重要的进展之一。除了电视之外，不同形式的局域网和广域网(LANs和WANs)也正允许在其上发送传统的视频广播和录影内容到各种新的设备，无论离家远近。除了提供数字电视接收的机顶盒（STBs），这些设备还包括：数字媒体适配器(DMAs)、数码录像机(DVRs)、便携式媒体播放器(PMPs)、个人电脑、可视电话以及其他有显示和录影能力的设备。
所有这些趋势正在急剧地改变着视频消费的方式。为了满足新的需求，视频系统开发商需要设计大量新型通信消费产品，但是他们必须清楚这些设计的复杂性。不同的应用决定了多种数据格式的存在，不同类型网络的带宽也是变化的。相比于其它信号，视频信号总是需要高带宽进行传输，并且其通常带有一个较小的音频流。视频信号和音频信号通常须实时传输。因此视频内容提供者正在寻求先进的信号编解码器，以腾出带宽，特别是对于更大吞吐量需求的高清晰显示。 尽管视频开发商追求着先进的信号编解码器，但是仍然存在两个问题：新的编解码器需要支持原代码和具有竞争力的新编解码标准。
这些因素都指明了需要代码转换：包括局部地转换代码的格式、分辨率、帧频和比特率，这样可使相同的音像信号源传输、存储、显示和展示在许多不同设备上。虽然代码转换早就应用在网络基础设备中，但是在电子消费产品中，人们才开始感受到它的重要性。在对成本敏感的大众视频用具消费市场中，为了提供高清晰度代码转换能力，系统开发商将不得不重新考虑其产品的设计方案。在相同的硬件设计环境下，为了支持各种应用的编解码要求，除了编程灵活性外，处理器必须具有更强的信号处理能力、更大的系统内存和更高的输入/输出带宽。这些处理器将提供一个有着高视频信号处理能力的平台，再加上芯片的内存和可提供视频设计的外围设备，该平台可以处理高清晰数据流信号。TI（德州仪器公司）的TMS320DM64XTM可编程多媒体处理器和达芬奇技术提供了以上这些性能和特点，在消费视频应用中，在灵活的代码转换设计的发展上它带来了巨大的优势。
数据格式变化
数字电视为高清晰度和标准清晰度电视 (HDTV和SDTV) 分辨率提供多种格式。 表1列出了其中最常用的格式，包括ATSC（北美先进电视系统委员会）和欧洲数字视频广播工程(DVB)采用的图像格式。除了拥有更高的分辨率，HDTV格式还提供了更大的图像显示宽高比，使其接近大多数电影图像显示的宽高比，从而可以不对图像进行修剪地播放电影。SDTV格式可以对有效接收的模拟信号进行数字化近似处理，这些模拟信号包括北美NTSC制式模拟信号和欧洲PAL/SECAM制式模拟信号。所有格式的帧频都是30帧每秒的NTSC制式帧频和25帧每秒的PAL/SECAM制式帧频的一倍或两倍。为了与影视制作兼容，这些格式也包括24帧每秒的刷新率。
HDTV要求的像素率显然高于SDTV要求的像素率。用12比特来表示一个像素，并且未经压缩的采样率为 的等效NTSC制式帧（480i60）需要400多万比特的存储空间；PAL/SECAM制式的等效帧（576i50）需要将近五百万比特的存贮空间。当然由于不同的帧频，这两种格式的总吞吐率是差不多的。1080i格式的HDTV每帧数据量是NTSC制式每帧数据量的6倍，而720p格式的HDTV每帧数据量是NTSC制式每帧数据量的2.7倍，如果采用更高帧频的720p60显示规格，HDTV每帧数据量将是NTSC制式每帧数据量的5.4倍。这两种HDTV格式正在被合理地使用：1080i60规格适合于显示高分辨率的静止帧图像，而720p60规格对于动态画面的显示效果更好。如果要处理以上两种显示格式的任意一种格式，那么该处理系统显然需要更大的存储空间和更高的吞吐率，而这是普通SD设计商提供的产品所不易做到的。
除了数字电视标准，数字视频还有许多其它显示格式，以满足不同类型的需求。在低端，最基本的显示格式是通用媒介格式（CIF），352×240像素的CIF帧可以表示四分之一的NTSC制式帧的数据量，而一个 352×288像素的CIF帧可以表示约四分之一的PAL/SECAM制式帧的数据量。在基于电脑网络的视频数据流中经常可见CIF及其子格式，比如QCIF(四分之一CIF帧像素(176×120，176×144)的视频帧格式)，这些格式为数字电视的分屏幕应用提供了基础。QCIF及其更小的子格式也经常在无线视频数据流中用到。
多倍CIF（4CIF，9CIF，etc）可以作为那些应用规模超过HDTV的有着较大商业市场的格式。除此之外，应用在电脑显示中的高清晰格式正在被娱乐媒体系统所采用。从1280×800像素的宽XGA(WXGA：宽屏扩展图形阵列)格式往上，这些格式的宽高比都是1.6，从而使它们相近，虽然它们有别于HDTV格式。
随着更多的系统试图共享高清晰视频内容，将数据发送设备的分辨率调整到目标显示设备的分辨率的能力变得越来越重要。无论HDTV输入的是1080i格式、720p格式，或任何其它格式，它都必须重新格式化(如果它没有被修剪)，以使其可以显示在任何更低分辨率的显示器上。即使是如WXGA 等HDTV和其它类型的高清晰格式都支持的数据格式，如果想不失真地在目标显示器上显示图像，就必须对数据进行重新格式化。在一些数据共享的应用中，重新格式化可以和代码转换并行，以减对小带宽和硬盘空间的需求。
数据传输和存储优化
比起大多数其他类型的数据，数字视频对带宽需求是巨大的。彩色采样 为 的无压缩1080i60规格的HDTV信号需要746.5Mbps的传输带宽，存放一个60分钟的视频需要336吉比特的空间。即使是如CIF般的小格式，在30帧每秒下用同样的彩色采样比例， 也需要36.5 Mbps的传输带宽，存放一小时的视频需要超过15.5吉比特的空间。另外，视频信号中伴随的音频数据流虽然不大，但仍然会对上面所列的那些数据产生重要影响。为了适应可获得的网络带宽和存储能力，显然需要对数字视频数据进行压缩处理。
今天，业界仍然采用建立已久的MPEG-2（活动图像专家组规范2）视频编码标准，该标准主要用于压缩SDTV格式和HDTV格式数据。在 到 的数据压缩率之间，MPEG-2标准能够高精确地还原被压缩的复杂视频信号。更先进的编码标准的数据压缩率通常在60:1到100:1之间，如H.264/MPEG-4的第10部分/AVC和WMV9/VC－1等标准，对于同样的数据内容，这些标准比MPEG-2提高了一倍的压缩效率。为了节省带宽，即使在没有分辨率调整的情况下，视频服务供应商都开始将MPEG-2标准处理的数据内容用更为先进的编码标准处理。采用先进的编码标准压缩视频数据的这股趋势正在逐渐展开，所以代码转换的需求仍然存在，因为需要将先进的编码标准向下兼容原有的传统编码标准，以使那些仍在使用旧设备或记录媒体的服务供应商或者私营网络能够运作。由于中国自行发展了一套新的视频编码方案，比如用于数字电视的AVS1.0标准和用于移动视频的AVS-M标准，更不要提那些需要代码转换的各种各样的音频标准，这就使数据代码的兼容性问题变得更为复杂。为了在各种压缩标准之间进行代码转换，那些应用广泛的视频产品的设计就需要灵活性。
有线服务和卫星服务可为高清晰视频的单通道传播提供足够的带宽，不过如要为高清晰视频传播同时提供尽可能多的通道以满足高清晰度播放，就需要更高效的视频压缩技术。IPTV（交互式网络电视）和蜂窝式视频传输技术能处理这些数据。对这些网络来说，先进的编码技术能弥补间断的迅速的视频帧和视频图像之间的差别，使画面看起来足够流畅。表2列出了不同编码技术对家庭录影数字视频数据（352×240像素每帧）传输吞吐量的影响，这些数据是经不同的电信媒体和局域网媒体进行传输的。例如，采用先进的压缩技术后，视频手机能达到18帧每秒的视频播放速率 (如果对象进行简单的运动，播放速率可能会更高)。通过这些媒体传输SDTV信号源内容需要进行代码转换，更不用说传输HDTV信号源内容了。进行代码转换是为了减小传输比特率和降低被编码代码的分辨率，当然，应该在传输速度和编码精度间找到一个平衡，以达到视频播放的最佳效果。
数据存储时压缩率也不一样，类似的编码问题申请数字视频记录。如今，DVD系统倾向于使用MPEG-2视频编码技术，而这些技术将落后于内容提供商逐步转向的先进编码技术。对接收到的H.264标准传输数据，机顶盒需要将其编码转换为MPEG-2标准，才能存储在遗产DVD设备上。应用H.264编码标准(也称为MPEG-4 AVC标准)的高清晰DVD和蓝光DVD记录系统也需要支持从H.264标准到MPEG-2标准的代码转换，这样就可以和遗产播放器共享数据内容。
电脑网络既可以是高清晰内容的来源地，也可以是高清晰内容的目的地。至少在近期内，电脑更有可能比消费娱乐系统使用WMV9编码标准（属于微软公司所有），所以对于共享家用电脑网络数据，这就要求代码转换能融合更多的编码标准，多于只共享HDTV标准数据的编码标准。此外，当视频供应商应用各种条件存取技术（CA）来保护自己的内容权限时，电脑业界已采用数字权限管理技术（DRM）。在CAs技术和DRM技术之间转录数据又是整个代码转换难题中的另一困难，这本身就与将所有家用电子系统互通的难题联系在一起。数字生活网络联盟（DLNA）（www.dlna.org）工业财团致力于发展家庭网络互通标准，如今，获得的大部分媒体产品都可用在DLNA标准的家庭网络上。已建立的DLNA互通机制使遍及整个家庭的视频共享需求增加，因此也促使了在这些系统中对代码转换的需求。
应用要求
最终需要某种方式代码转换的应用方案数目可能非常庞大。某些类型的系统，尤其是机顶盒、数字电视、数码录像机（DVRs）、网络便携式数码摄像机、手机电视和个人广播等将会最先体现出对这种代码转换的需要，比如像Sling Media公司开发的Slingbox。所有这些系统都需要与其它设备共享数据，其中有些系统还是家庭网络的核心组件。
例如，机顶盒和/或数字电视将不再局限于接收和播放传统的电视广播。相反，它们将为各种各样的应用提供服务，诸如网上冲浪、电子邮件、游戏、视频电话、IP语音（VoIP）电话、视频点播（VoD）、安全保卫和用于因特网流的数字媒体适配器等应用。因为机顶盒/数字电视将是家庭网络的连接枢纽，其显而易见地需要代码转换：在任意地点及任何时刻下，它可能需要支持家庭网络能收任意格式的各种类型多媒体内容。此外，机顶盒/数字电视系统需要能够实时地进行代码转换。用户通常希望立刻看到视频节目，而不是在稍后时刻。即使存储媒体内容用于以后代码转换的方法是用户可以接受的，但在系统中该方法可能是不经济的，因为它需要巨大的存储空间。
网络摄像机适合在家庭存储和播放视频娱乐，所以主要的代码转换可能发生在MPEG-2标准和H.264标准之间。然而，对于诸如WMV9和JPEG等其它标准的支持有利于扩展设备的用途。由于所有的标准都具备升级功能，所以数码摄像机的具有可编程性的设计优势就体现出来了。因为数码摄像机最主要的功能就是摄像，所以系统就能超越实时地加速代码转换，视频节目就能以比播放它的速率更快的速率存储到其它存储媒介上。
虽然数据储存要求更加严格，但便携式数码摄像机也面临着和网络摄像机同样的问题。对多标准的支持可以扩展便携式数码摄像机的应用范围，而不只限于视频播放。这些应用包括照相、音乐播放及游戏。Slingbox通过因特网将家庭网络扩展到远处，采用如Slingbox的这种个人广播，大多数网络将不能传输完整的高清晰画质的视频。即使这样，高清晰电视也可能是一个重要的视频内容增长源，因此为了减小带宽以及到目标播放设备的传输延时，采用主流的视频编码标准的代码转换是必要的。
其中最有挑战性的数据通信就是移动视频通信，这是因为通信带宽很窄而视频又必须是实时播放，并且为了延长电池使用时间还必须低功耗播放视频。此外，移动视频可能提供了最为广泛的应用服务，因为移动视频内容可配合语音和互联网提供视频会议、远程教育、商务往来和其它互动服务，也可以为电视、视频点播、游戏以及其它形式的娱乐提供服务。随着各种网络和手机参与广域无线通信，更不要提接收设备的变化，视频信号源将不得不调整数据传输的比特率、分辨率、帧频和编码格式，以符合接收设备的接收能力。用可达到的比特率来获取高质量的视频效果通常是蜂窝式服务供应商所倡导的，但是如果家庭网络也要为移动视频提供多媒体内容，这些服务供应商就将不得不面对以上那些技术挑战。
代码转换的算法考虑
在最简单的情况下，代码转换只包含两个步骤：对数据比特流进行译码；重新以不同的编码标准对数据进行编码，正如图1所示。这种毫无技巧的代码转换方法很容易实现，只需要一个解码器和一个编码器就行了。不幸的是，它不会带来最满意的结果，这是由于传播和压缩引起的失真会带来渐进的画质下降。此外，这种简单的代码转换没有利用各种数据处理技术，因此其需要处理更多的数据。与采用各种数据处理技术的高效算法相比，在处理相同的输入数据量情况下，这种简单的代码转换方法对处理器的性能要求更高，消耗的功耗也更大。
图1所示的流程将译码器的输出帧输入到一个完全编码器。如果要求画面缩放到不同的分辨率进行显示，则这一步一定是在最后的播放端完成。对于已经重新编码的完整高清晰分辨率画面，如果上述流程最后只需要输出分辨率相对较低的画面，则该流程就会浪费资源；相反，如果在译码和编码之间加入一些中间步骤，比如帧大小调整和内存缓冲，就可以提高流程的资源利用率，如图2所示。这样就使输出数据的压缩效率更高，并且符合显示画质的要求，同时还提高了处理器和存储器的使用效率。
和上面简单的代码转换方法相比，要明白智能代码转换器是怎样花更少的计算时间去获得更好的结果这一特点，可以参考下面的一个代码转换的例子：将高清晰MPEG-2广播视频转换到手机播放的VGA或者QVGA H.264基线姿态视频。
为了减小系统内存和输入/输出带宽开销，手机视频播放通常不但需要较低的视频分辨率和比特率，而且需要一个简单的编解码工具。播放MPEG-2流通常使用图像组序列，包括三种类型的编码帧：I帧、P帧、B帧。I帧图像采用帧内编码方式，仅使用当前编码帧的信息和空间冗余性；P帧具有前向时间预测性，利用先前解码帧作为参考信息和平衡帧间的时间冗余性。B帧是MPEG-2使用的第三种帧，其具有向前和向后的双向时间预测性，可以降低比特率。由于B帧的编解码具有双向特性，这就增加了系统需要的参考帧存储空间。为了在回放时支持如暂停或倒带等特殊播放模式，播放MPEG-2流视频还需要定时的I帧图像（通常是每半秒中一帧），不过由于I帧的存储位数大于P帧，这就会额外地增加带宽需求。例如，一个典型的图像组序列如下所示：
预测B帧需要一块内存来存放下一P帧或I帧。一般地说，预测B帧的好处是可以降低比特率；但对手机视频来说，考虑到系统延时增加、内存需求加大及译码复杂性增强，这点好处可谓得不偿失。为了减少手持设备的处理需求和内存大小，一定程度的数据丢弃是可以接受的，因此可以对图像组序列进行简化，使其不含有B帧。此外，由于I帧要耗费高带宽，通常图像组序列中I帧的间隔被拉长。结果如下所示：
在MPEG-2图像组结构和用于H.264 基线姿态（BP）视频比特流的新图像组结构间的代码转换过程中，知道原比特流中帧的类型是有用的。盲目地进行代码转换可能会犯下将原比特流中的P帧编码为I帧的错误，相比于I帧与I帧对应的正常编码，该错误会使图片质量下降。更进一步，在某些情况下需要将帧频从原比特流的30帧每秒下调到15帧每秒，这时知道原比特流中的哪些帧是B帧会非常有用。部分B帧甚至可能不需要译码，因为它们不需要用来预测原比特流译码中的任何帧。
为了提高重新编码为H.264规格的效率，代码转换还可以加入其它一些步骤。编解码器非常依赖用于平衡帧间时间冗余性的运动估计。采用智能型代码转换器，原比特流的运动矢量可用作重新编码过程的提示。通常，广播编解码器比消费类编解码器有更广的搜索范围，因为它们有更多的计算资源。在普通消费视频设备的计算资源情况下，原先的运动矢量能允许代码转换器有效地获取更多的运动估计。
说明在这种情况下，使用运动矢量的过程不完全是一味向前的，这是因为图像有分辨率的变化，同时在MPEG-2规格和H.264规格数据源的运动补偿工具间还有特征差异。为了充分利用知道原先运动矢量所带来的潜在好处，代码转换解决方案需要智能化。
有时候压缩信号会引入噪声，产生影响图像质量的人为失真。对译码器输出的解压数据进行简单地重新编码能加大这些失真，同时还会在代码转换后的视频中加大这些失真的影响。这些人为失真通常产生于宏模块的衔接口处，可以通过在译码后的MPEG-2视频上进行分块处理来消除这些失真。另一常见的人为失真被称为蚊噪，它是在陡沿附近大量的量化引起的。在采用新格式重新编码前，柔化环状亮度色斑（deringing）方法可以被用来尽可能减小这种失真。
这些步骤可以加入图3所示的代码转换流程中去。
TI公司的达芬奇技术和代码转换
作为TI公司达芬奇视频技术的硬件平台，TMS320DM644x数字媒体处理器用于支持视频系统的高吞吐率和多任务要求。基于TI的专为视频应用设计的TMS320C64x+TM DSP内核，具有可编程性的DM644x处理器在处理音视频编解码等实时性算法方面具有很高的性能。片上系统（SoC）集成了处理视频信号的DSP内核和成像协处理器，为视频信号的编解码提供了高速处理能力；另外片上系统还集成了精简指令集（RISC）处理器，用以实现用户接口、系统控制和编程方便。 DM644x结构集成了许多播放数字视频需要的外部模块，包括网络外围设备、屏幕视控系统(OSD)、视频数模转换器和一个高速存储器子系统，该存储子系统含有一个两级高速缓存和与外部存储器相连的接口，并且采用了增强型直接内存存取控制。图4显示了DM644处理器的特点。
可以对DM644处理器编程设置，从而支持任何数量的音频和视频标准。当网络结构和服务需要变化时，又很容易对DM644进行升级。安装在DSP和视频加速器上的对大量信号进行运算处理的软件系统和ARM上的运算控制为各种新兴的应用提供了性能提升空间。除了该处理器，达芬奇技术也提供基础软件系统、算法和应用编程接口（APIs），这些技术都促进了视频系统的发展。
凭借TI在DSP集成和数字视频的实力，针对高清晰视频代码转换的需要，TMS320DM644x结构能增加更多的功能。在完全可编程化的DSP控制下，对不同编解码格式的数据同时进行编解码的多格式支持，使得对各种应用中的视频数据进行代码转换变为可能，这包括机顶盒、数字电视、个人录像机、数字媒体适配器、视频电话、数码摄像机、监视系统、和其他一切在联网的家庭网络中需要的应用。可以提升DM644x结构的性能，使其具有超越实时代码转换的能力，这样无论何时需要，DM644都可使任意获得的视频内容转变为快速代码转换模式，能满足高清晰视频内容的高速重新编码的需要。
基于达芬奇技术的代码转换就如同普及数字家庭视频一样任重道远，不过在今天和不远的将来，该技术都符合市场需求。图5展示了一个DVD记录仪，其具有的代码转换能力是通过附加到主要DVD芯片集上的设备完成的，这可以作为怎样应用DM644x代码转换处理器的一个实例。
家庭联网，非冲突
高清晰电视和其它高清晰视频源正在为视频播放质量制定一套高标准，联网的家庭用户提供了在任何时间任何地点共享高清晰视频的潜力。针对视频压缩和显示格式的标准数量不断增加，再加上不同媒介的不同传输能力，这些都会使消费者感到迷茫，而且会使他们在应用中无法共享视频内容。解决的办法是使系统具有代码转换的能力，并允许视频内容可以自动共享，同时尽可能高效地利用带宽和存储空间。
对系统设计师来说，代码转换的变化趋势已经在那些具有先进的视频编解码器的系统中开始了，同时这些系统又不得不兼容原有的编解码格式。虽然这些娱乐系统都仅仅是个开始，但是高清晰视频内容将最终被显示在各种系统中，而且代码转换也将适应各种标准。设计者需要考虑哪些类型的平台能为他们提供具有高清晰视频代码转换的能力，同时这些平台还应有添加额外的标准或对原标准进行升级的灵活性。设计者也应注意到虽然高效的代码转换算法可以满足高质量的视频播发，但是这些加强都是基于处理器的设计。
TI公司的TMS320DM644x可编程处理器和达芬奇技术为高清晰视频系统提供了软硬件平台。DM644x结构是专门为高清晰代码转换和多编解码器多格式系统的发展而设计。这些特点，再加上可编程的灵活性和不断发展的软件，使达芬奇平台非常适合未来几年将进入市场的高清晰电视和各种视频应用。随着基于达芬奇技术的视频系统的到位，联网家庭将不再为各种播放格式的兼容性而烦恼，而能充分享受新技术带来的视听娱乐。
本文为哔哥哔特资讯原创文章，未经允许和授权，不得转载，否则将严格追究法律责任；
暂无评论