MPEG

本文擷至網路

  在1990年底,MPEG ( Motion Picture Experts Group)委員會制定了MPEG-1標準,以位元率 (target bitrate) 1.5 Mbits/sec 做為影音壓縮的目標,以提供VHS視訊和CD音訊品質之服務。隨後,MPEG-2標準也被制定出來,提供更高的位元率及更佳的品質,可提供直播衛星和高畫質電視 (High Definition Television; HDTV) 等需要高品質影音訊號的應用。

  在傳統的視訊壓縮中,以一連串的影像(image)為壓縮對象,也就是對於一整張畫面(frame)做資料壓縮。如此會將整張畫面不重要的部分,如:單調的背景,也一起壓縮進去而佔有一定程度的資料量(example 1)。因此,不利於低位元率 (very low bitrate) 環境之應用。此外,對於其它形態的影音資料 (audiovisual data),如:文字,並沒有一個統一的標準,因而使得互動式電視 (interactive TV) 缺乏一套有系統與有效率的標準。所以,MPEG委員會的成員,達成一個共識:MPEG-4將以物件為基礎 (object-based) 的壓縮方式來打破目前的限制(example2),並將開發更多的多媒體應用。

定義:
MPEG-4包含四個重要的部分:
1.系統 (System) 定義影音資料和其它資料如何融合(multiplexing)在一起,以及在網路上如何傳輸。MSDL(MPEG-4 System Description Language ) 用來傳送和連結物件的額外資訊。

2.視訊 (Natural Video) 會把目標位元率設定於5 - 64 kbps和2 Mbps以上,以達到不同應用上所需求的頻寬。

3.音訊 (Natural Audio) 目標位元率設定於2 - 64 kbps ,將會由數個不同的音訊壓縮演算法組成,以達到整個目標位元率的範圍。

4.電腦合成資料 (Synthetic-Natural Hybrid Codin; SNHC) 主要以電腦合成的資料為範疇,包括了VRML和真人語音系統 ( Text To Speech , TTS ) 。MPEG-4 正式發表標準前,此部分將會個別合併到視訊和音訊部分。


MPEG 4 簡介

  MPEG-4 視訊驗證原型 ( Verification Model ) ,到今年四月已經更新到7.0版。每次的更新都會將實驗結果較好的方法加入新版而取代舊有的方法,目前已發表了較正式的工作草案 ( Working Draft 3.0 ), MPEG-4 視訊標準大致的架構已經成型。

在此驗證原型中,一個畫面將可視為是由多個視訊物件 ( Video Object ) 所組成,如此將可提供很高的使用者互動性,用以開發更多的應用。使用者可自由存取操作這些視訊物件,而組成自己想要的畫面。

  每一個視訊物件還可分層 ( Layer ) :基礎層 ( Base Layer ) 提供較低的解析度,加強層 ( Enhancement Layer ) 提供較高的解析度。每一層由真正影像的實體: 視訊物件平面 ( Video Object Plane,VOP ) 所構成,視訊物件平面則包含了物件形狀 ( shape ) 和材質 ( textual ) 的資料。

媒體物件的組成
MPEG-4影音場景由不同的物件所組成,每個物件之間的關聯,可以建立出樹狀的結構圖


互動式的媒體物件
一般而言,使用者看到場景的組成,是由該場景的作者所設計出來的。場景的作者,可以設定或限定任意的自由度,讓使用者再充分授權下與該場景產生互動。一個使用者可能被允許的操作包括:
1.改變自己在場景中的視覺或聽覺的位置,就好像在場景中航行。
2.將物件放置在不同的位置。
3.產生一連串的事件觸發特定的物件,如開啟或停止video stream。
4.當有提供多重語言支援的時候,選擇想要的語言模式。

MPEG-4視訊解碼器
1.MPEG-4的視訊解碼器主要可分三個部份:分工器 ( DEMUX)
2.視訊物件解碼器 ( Video Object Decoder )
3.構圖器 ( Composer )


視訊解碼器 利用網頁瀏覽器執行解碼器的狀況:使用者可直接拉動件,擺在想要的位置,並藉由左邊的按紐,改變物件大小,物件解析度(SP),以及物件畫面數(TM)

MPEG-4視訊編碼器
MPEG-4的視訊編碼器主要可分二個部份:
1.視訊物件編碼器 ( Video Object Encoder )
2.融合器 (MUX )

視訊編碼器 可針對不同的視訊物件,予以個別獨立之壓縮
可提供可調整性壓縮:

1.空間上的可調整性 ( Spatial Scalability ):空間上的可調整性可以改變某一個視訊物件的解析度;最低解析度的當做基礎層,以上都是加強層,如此分層即可達到不同解析度的壓縮。

2.時間上的可調整性 ( Temporal Scalability ):
時間上的可調整性可以改變某一個視訊物件的播放速率,時間上的可調整性不必如空間上的可調整性做縮放影像大小的工作,僅需將某些時間的影像放到加強層即可。

DMIF

DMIF(Delivery Multimedia Integration Framework)是 session protocol 用來管理多媒體的資料流。在原理上,DMIF 與 FTP 相類似,不同在於,FTP傳遞使用者選擇的檔案,而 DMIF 傳遞使用者選擇的 Object Stream。DMIF提供的功能介面被稱為 DMIF-Application Interface(DAI),DAI 在規格上定義為可在一些 Network types 上運作,如 Internet。也可以存取 broadcast material 與 local files。因此它的意思是,單一的介面被定義為可以在不同的傳輸技術(通訊媒體)上存取多媒體資料。

因此 DMIF 涵蓋三個主要領域,interactive network technology、broadcast technology 與 disk technology,

在這樣的架構下,使得 applications 依賴 DMIF 來通訊,而不管 DMIF 是經由什麼通訊方法來取得連線。所以,在 DMIF 的 implementation 上,必須提供一個簡單的 interface 給應用程式。


MPEG的新發展--MPEG4、MPEG7網絡應用最重要的目標之一就是進行多媒體通信。多媒體信息主要包括圖像、聲音和文本三大類,其中視頻、音頻等信號的信息量是非常大的。而且這些信息的表達方式、輸入、輸出的要求也各不相同,因此在多媒體通信中,對這些數據進行有效的表達和適當處理是非常重要的。其中,多媒體信息的壓縮技術是多媒體通信領域的關鍵技術之一。MPEG(MovingPictureExpertGroup)應運而生,它是ISO(InternationalStandardOrgnization)與IEC(InternationalElectronicCommittee)於1988年聯合成立的,致力於運動圖象及其伴音編碼標準化工作。它包括MPEG系統,即MPEG視頻及MPEG音頻。原先共有三個版本MPEG1、MPEG2、MPEG3,後又增加了MPEG4、MPEG7,不同版本表示了不同用途和質量,對多媒體通信的發展起到了革命性的推動作用


一、MPEG1、MPEG2和MPEG2AACMPEG1(ISO/IEC11172)制定於1993年,是針對1.5Mbps以下數據傳輸率的數字存儲媒質運動圖像及其伴音編碼的國際標準。MPEG1用於在CD—ROM上存儲同步和彩色運動視頻信號。可優化為中等分辨率,並在其優化模式下,採用所謂的標準交換格式(SIF)。MPEG1對色差分量採用4?1?1的二次採樣率。MPEG1旨在達到VRC質量,其視頻壓縮率為26?1。MPEG1現已成為常規視頻標準的一個子集,該子集稱為CPB流。

1995年又出台了MPEG2(IOS/IEC13818),它追求的是CCIR601建議的圖象質量DVB、HDTV和DVD等制定的3Mbps?10Mbps的運動圖象及其伴音的編碼標準。該標準最初的目的是在與MPEG1兼容的基礎上,實現低碼率和多聲道擴展。后為適應演播電視要求,MPEG於1994開始致力於定義一個可以獲得更高質量的多聲道音頻標準。該標準不與MPEG1兼容,定名為MPEG2AAC。AAC標準完成於1997年,經BBC(U.K.)和NHK(Japan)使用、測試表明已達到最優化ITU—R601推荐的分辨率。AAC(AdvancedAudioCoding)對於低比特率的多聲道編碼能提供相當高的聲音質量。由於它不向后兼容,故具有更高的壓縮效果。據測試它以320Kbps傳送的音頻信號比MPEG2以640Kbps傳送的音質還略好些。AAC標準的發展標志著標準化工作向著模塊化方向演變的趨勢。

MPEG3是ISO/IEC最初為HDTV開發的編碼和壓縮標準。但由於MPEG2的高速發展,MPEG3的功能已被淘汰,其原來的工作由MPEG2小組承擔。

二、MPEG4與前兩者不同,於1998年11月公布,原預計1999年1月投入使用的國際標準MPEG4不僅是針對一定比特率下的視頻、音頻編碼,更加注重多媒體系統的交互性和靈活性。MPEG4試圖達到兩個目標:一是低比特率下的多媒體通信;二是多工業的多媒體通信的綜合。據此目標,MPEG4引入AV對象(Audio/VisaulObjects),使得更多的交互操作成為可能。1.AV對象(AVO)

AV對象的基本單位是原始“AV對象”,它們可能是一個沒有背景的說話的人,也可能是這個人的語音或一段背景音樂等。它具有高效編碼、高效存儲與傳播及可交互操作的特性。

在MPEG4中,AV對象有著重要的地位。MPEG4對AV對象的操作主要有:

1採用AV對象來表示聽覺、視覺或者視聽組合內容。

2允許組合已有的AV對象來生成復合的AV對象,並由此生成AV場景。MPEG4採用SNHC的方法來組織這些AV對象。

3允許對AV對象的數據靈活地多路合成與同步,以便選擇合適的網絡來傳輸這些AV對象數據。

4允許接收端的用戶在AV場景中對AV對象進行交互操作。

5MPEG4支持AV對象知識產權與保護。

2.MPEG4標準的構成

1)DMIF(TheDelliveryMultimediaIntegrationFramework)

DMIF即多媒體傳送整體框架,它主要解決交互網絡中、廣播環境下以及磁盤應用中多媒體應用的操作問題。通過傳輸多路合成比特信息來建立客戶端和服務器端的握手和傳輸。通過DMIF,MPEG4可以建立起具有特殊品質服務(QoS)的信道和面向每個基本流的帶寬。

2)數據平面

MPEG4中的數據平面可以分為兩部分:傳輸關系部分和媒體關系部分。

為了使基本流和AV對象在同一場景中出現,MPEG4引用了對象描述(OD)和流圖桌面(SMT)的概念。OD傳輸與特殊AV對象相關的基本流的信息流圖。桌面把每一個流與一個CAT(ChannelAssosiationTag)相連,CAT可實現該流的順利傳輸。

3)緩沖區管理和實時識別

MPEG4定義了一個系統解碼模式(SDM),該解碼模式描述了一種理想的處理比特流句法語義的解碼裝置,它要求特殊的緩沖區和實時模式。通過有效地管理,可以更好地利用有限的緩沖區空間。

4)音頻編碼

MPEG4的優越之處在於,它不僅支持自然聲音,而且支持合成聲音。MPEG4的音頻部分將音頻的合成編碼和自然聲音的編碼相結合,並支持音頻的對象特征。

5)視頻編碼

與音頻編碼類似,MPEG4也支持對自然和合成的視覺對象的編碼。合成的視覺對象包括2D、3D動畫和人面部表情動畫等。

6)場景描述

MPEG4提供了一系列工具,用於組成場景中的一組對象。一些必要的合成信息就組成了場景描述,這些場景描述以二進制格式BIFS(BinaryFormatforScenedescription)表示,BIFS與AV對象一同傳輸、編碼。場景描述主要用於描述各AV對象在一具體AV場景坐標下,如何組織與同步等問題。同時還有AV對象與AV場景的知識產權保護等問題。MPEG4為我們提供了豐富的AV場景。

3.應用前景

MPEG4的應用前景將是非常廣闊的。它的出現將對以下各方面產生較大的推動作用:數字電視;動態圖象;萬維網(WWW);實時多媒體監控;低比特率下的移動多媒體通信;於內容存儲和檢索多媒系統;Internet/Intranet上的視頻流與可視游戲;基於面部表情模擬的虛擬會議;DVD上的交互多媒體應用;基於計算機網絡的可視化合作實驗室場景應用;演播電視等。

三、MPEG7—多媒體內容描述接口繼MPEG4之后,要解決的矛盾就是對日漸龐大的圖像、聲音信息的管理和迅速搜索。針對這個矛盾,MPEG提出了解決方案MPEG7。MPEG7力求能夠快速且有效地搜索出用戶所需的不同類型的多媒體料。該工作提議於1998年10月提出,預計於2001年初最終完成並公布。MPEG7將對各種不同類型的多媒體信息進行標準化的描述,並將該描述與所描述的內容相聯系,以實現快速有效的搜索。該標準不包括對描述特征的自動提取,它也沒有規定利用描述進行搜索的工具或任何程序。其正式的稱謂是“多媒體內容描述接口”。MPEG7可獨立於其它MPEG標準使用,但MPEG4中所定義的對音、視頻對象的描述適用於MPEG7,這種描述是分類的基礎。另外我們可以利用MPEG7的描述來增強其它MPEG標準的功能。MPEG7的應用範圍很廣泛,既可應用於存儲(在線或離線),也可用於流式應用(如廣播、將模型加入Internet等)。它可以在實時或非實時環境下應用。如:數字圖書館(圖象目錄,音樂字典等);多媒體名錄服務(如黃頁);廣播媒體選擇(無線電信道,TV信道等);多媒體編輯(個人電子新聞業務,媒體寫作)等。另外,MPEG7在教育、新聞、導游信息、娛樂、研究業務、地理信息系統、醫學、購物、建築等各方面均有較深的應用潛力。四、結束語與同樣是音頻壓縮標準的杜比公司的AC系列標準相比,MPEG標準系列由於存在專利權的問題,所以更適合於我國國情。MPEG1使得VCD取代了傳統的錄象帶,而MPEG2將使數字電視最終完全取代現有的模擬電視,而高畫質和音質的DVD也將取代現有的VCD。隨著MPEG4和MPEG7新標準的不斷推出,數據壓縮和傳輸的技術必將趨向更加規範化。

留言

這個網誌中的熱門文章

流年斗君算法

Aperture 3 繁體中文化

紫微斗數守護神