ageha was here

2007/11/15を以て当ブログは更新を停止しました。記事は全てこのままですが、基本的に内容はOut of dateとお考え下さい。

ホーム > H.264/AVC参考

H.264/AVC規格概要：もくじ

原文：Introduction paper to H.264/MPEG-4 AVC including the Fidelity Range Extension. （PDF）
※スウェーデン、 Luleå University of Technology、Dr. Peter Parne氏の講義ガイダンスの模様。）

H.264/AVC規格：概要と忠実度拡張（FRExt）のイントロダクション

Presented at the SPIE Conference on Applications of Digital Image Processing XXVII
Special Session on Advances in the New Emerging Standard: H.264/AVC, August, 2004

The H.264/AVC Advanced Video Coding Standard:

Overview and Introduction to the Fidelity Range Extensions
Gary J. Sullivan*, Pankaj Topiwala†, and Ajay Luthra‡

*Microsoft Corporation, One Microsoft Way, Redmond, WA 98052
†FastVDO LLC, 7150 Riverwood Dr., Columbia, MD 21046
‡Motorola Inc., BCS, 6420 Sequence Dr., San Diego, CA 92121

ABSTRACT～摘要
H.264/MPEG-4 AVCは最新の国際映像圧縮規格。
開発はITU-TのVCEGとISO/IEC のMPEGの共同作業で行われた。
H.264/AVCは最先端の符号化ツールを用いて幅広いアプリケーション（ビデオ電話/会議、TV、ストレージ（DVD、ハードディスクベース、わけてもハイデフDVD）、ストリーミング映像、デジタル・ビデオ・オーサリング、デジタルシネマ、などなど）に高度な圧縮効率をもたらすものだ。
このほど、この規格の拡張作業が完了した。
この拡張はFRExt（Fidelity Range Extensions、忠実度の拡張）と呼ばれるもので、 2003/春に定義完了したAVCのオリジナル規格に比べて様々な点で優れた能力を持っている。
この文書では、新しいFRExt規格のハイライトを含めたAVC規格の概要を述べ、さらにMPEG-2およびMPEG-4 part2との若干の比較を行う。

Keywords: Advanced Video Coding (AVC), Digital Video Compression, H.263, H.264, JVT, MPEG, MPEG-2, MPEG-4, MPEG-4 part 10, VCEG.

もくじ

1. イントロダクション

1.1. H.264/AVCの歴史

1.2. FRExt追加議定書

2. 符号化ツール

2.1. I - スライス

2.2. P-slices
2.3. B-Slices
2.4. SP and SI Slices
2.5. Deblocking Filter
2.6. Error Resilience Tools
2.7. Color Space and Residual Color Transform Support

3. SUPPLEMENTAL INFORMATION
4. PROFILES AND LEVELS

4.1. The Baseline, Main, and Extended Profiles in the First Version
4.2. The New High Profiles Defined in the FRExt Amendment
4.3. Levels

5. SIMULATION RESULTS

5.1. Performance of the First Version of the H.264/AVC
5.2. Performance of FRExt High Profile

6. CONCLUSIONS

スポンサーサイト

[ 2006/10/12 12:00 ] 動画　MPEG-4全般 | TB(0) | CM(0)

Moscow State University "COMPRESSION PROJECT"

"COMPRESSION PROJECT"

以下、英語版。

"COMPRESSION PROJECT"

プロジェクトのねらい。
　"データ圧縮のすべて"。全ての人々にとって、最大限の完全さ、最大限の無駄のなさ、最大限に有用なデータ圧縮、の創造と供給。

Video filtering and compression by MSU Video Group

映像圧縮関連もくじ

Second Annual MSU MPEG-4 AVC/H.264 Video Codec Comparison

2005年コデック比較テスト。

x264 Codec Improvement

ABR（2パス）におけるx264の改善。ソース配布有り。

で、その"COMPRESSION PROJECT" とはナニモノか？

　随所にMSUという文字がある。Moscow State Universityの事のようだ。モスクワ州立大学（？）

wikipedia：モスクワ大学-- 太字オレ
モスクワ大学（モスクワだいがく、Московский государственный университет имени М.В. Ломоносова, M.V. Lomonosov Moscow State University）は、ロシア・モスクワにある大学。ロシアでは通常МГУ（エム・ゲー・ウー）と呼ばれ、M.V.ロモノーソフ記念モスクワ国立総合大学の略称である。

　ロシア国内では最高学府とされ、世界的にもよく知られた総合大学の1つである。

　ようするに東大だべ。

　「モスクワ州立大学」でぐぐると、東欧にはスゲェプログラマが沢山いるんだけど、IT産業がアレでいい仕事があまり無いのですよという話が出て来た。2005の国際大学対抗プログラミング・コンテストでも「モスクワ州立大学」になってるね。ちなみにこのコンテストの主催者ACMってのは Association for Computing Machinery、アメリカの計算機学会。コンピュータ全般における権威のラスボスだ。
　ゲーマー的に旧共産圏といえば、テトリスの昔からアレ目なハードで工夫の限りを尽くす人々。北朝鮮の囲碁ソフトとかもなんかスゲェらしい。

Second Annual MSU MPEG-4 AVC/H.264 Video Codec Comparisonについて

　2005年コデック比較テスト。参加コデックは以下。

DivX 6.0 (Not H.264 video codec, tested as reference codec)

ArcSoft H.264

Ateme H.264

ATI H.264

Elecard H.264

Fraunhofer IIS H.264

VSS H.264

x264

　結論は以下（試訳）。2005末時点のテストである事に注意。

http://www.compression.ru/video/codec_comparison/mpeg-4_avc_h264_2005/part4.htm

前年の比較テストと比べると、H.264 規格コデックの水準は極めて向上した。１年前にはMPEG4-ASP 規格のベストコデックはH.264規格のベストコデックに匹敵したが、今やその状況は大きく変わった。DivXコデックには少なからぬ向上が見られるにも関わらず、新規格コデックの大半に引けを取る。

新規格コデックのうち明白に水準を抜いたものを選ぶ事は困難だが、x264 と Ateme が全般的にベストの結果を出した。

速度面では明白にATIが抜きん出た。またそれ以外の面が必ずしも悪いわけでもない。

　詳細は、比較項目は多岐に渡り、図表だらけで科学的で分析も細かくて手が出ない。Doom9コデックコンテストがマニアの集合知（CGM）の極点なら、ここがネットで見れる範囲では、アカデミズム側の極点だろう。
　2006年、第３回の募集は８月に締め切り済み。

[ 2006/10/21 00:00 ] 動画　MPEG-4全般 | TB(0) | CM(0)

H.264/AVC規格概要：プロファイル

プロファイル

　H.264/AVC には多数の符号化ツールがあるが、全てのアプリケーションで全てのツールが必要とされている訳ではない。例えば、洗練されたエラー耐性ツールはデータロスや破壊が非常に少ないネットワークでは重要ではない。全てのアプリケーションに全ツールのサポートを強制した場合、無駄に複雑なアプリケーションが出て来てしまうだろう。このため、符号化ツールのサブセットが定義された。これをプロファイルと呼ぶ。デコーダでサポートするサブセット（プロファイル）はどれか一つだけでも自由だし、複数や全てサポートしても自由だ。H.264/AVC最初の規格では、以下の三つのプロファイルが定義され、最新版でもそのまま残っている。：

Baseline (BP)
Extended (XP)
Main (MP)

　Baseline profile（BP）がサポートするのは I およびPスライス、一部の高度なエラー耐性ツール（FMO, ASO, RS）、そしてCAVLC。B、SP、SIスライス、インターレース符号化ツール、CABAC エントロピー符号化はサポートしない。Extended profile（XP）はBaselineのスーパーセットで、上記にB、SP、SIスライス、インターレース符号化ツール、そして、データパーティショニング（DP）によるエラー耐性の向上を加えたもの。CABACはサポート外。Main profile（MP）がサポートするのは I、P、Bスライス、、インターレース符号化ツール、CAVLCとCABAC。高度なエラー耐性ツール（FMO, ASO, RS, DP）やSP、SIスライスはサポート外。

　本稿執筆時点（＊2004/08月＊）では、 Baseline Profile はビデオ会議のプライマリ・チョイスのようだ。Main profileは、エンターテインメント品質のコンシューマー・アプリケーションで大きな関心を集めてきたが、勢いはFRExtの新しいHigh profileの登場により弱まりつつある。
　プロファイルは、想定する主な用途に対応して7種類あり、各々において使用するツールと処理範囲等を定めている。レべルは、取り扱う映像の画素数に対応して16種類が定められている。

FRExt 改正により、以下4のprofileが追加定義された:

High (HP)
High 10 (Hi10P)
High 4:2:2 (Hi422P)
High 4:4:4 (Hi444P)

　これら４つのプロファイルは、Main profileのデザインの上に構築され、共通するのは以下の４点；

適応的マクロブロック・レベルスイッチング。8x8と4x4変換ブロックサイズの自動選択が可能になった。

（＊Adaptive macroblock-level switching between 8x8 and 4x4 transform block size＊）

エンコーダが固有の人間の視覚認識ベースの量子化スケーリングマトリクス（カスタム量子化マトリクス）を使える。

（＊Encoder-specified perceptual-based quantization scaling matrices＊）

エンコーダは独自に各彩度コンポーネント（＊CbとCr＊）に独立した量子化パラメータを使える。

（＊Encoder -specified separate control of the quantization parameter for each chroma component＊）

　一般的な4:2:0 videoに加え、これらのプロファイルは全て、白黒符号化されたビデオシークエンスもサポートする。新プロファイル間の違いは主にサポートする色深度と色差信号(＊chroma＊) フォーマットだ。ただし、High 4:4:4 はさらに、residual（＊残りの＊） color transform と predictive（＊予測＊） lossless coding の機能を持つ。これは他のプロファイルには存在しない。詳細は以下。

プロファイル

Coding Tools	Baseline	Extended	Main	High	High 10	High 4:2:2	High 4:4:4
概要	双方向予測やインタレース映像への処理等を省いた基本的ツールで構成。伝送エラー耐性用ツールを含む。	Baselineを包含すると共に、より高画質・高度化のためのツールを追加。	標準的ツール群で構成される代表的なプロファイル。 FMO,ASO,RS(注7)を除くBaseline プロファイルを包含。	Mainを包含すると共に、HDTV映像等の高画質化用拡張(FRExt)ツール群を追加。	Highに10ビットサンプリング映像対応を追加。	High 10に4:2:2クロマフォーマット対応を追加。	High 4:2:2に12ビットサンプリング映像および4:4:4クロマフォーマット対応を追加。
主要用途	モバイル放送、ネット配信など	高度な配信など	放送、蓄積メディア、配信など	高画質放送、蓄積メディア、スタジオ(編集・蓄積)など	素材配信、スタジオ(編集・蓄積)など	素材配信、スタジオ(編集・蓄積)など	素材配信、スタジオ(編集・蓄積)など
スライス
I 、Pスライス	◯	◯	◯	◯	◯	◯	◯
B スライス		◯	◯	◯	◯	◯	◯
インターレース符号化 (PicAFF, MBAFF)		◯	◯	◯	◯	◯	◯
エントロピー符号化
CAVLC	◯	◯	◯	◯	◯	◯	◯
CABAC			◯	◯	◯	◯	◯
整数変換（DCT？）
8x8 または 4x4 の適応変換				◯	◯	◯	◯
量子化制御
カスタム量子化マトリクス				◯	◯	◯	◯
CbとCrの個別 QPコントロール				◯	◯	◯	◯
重み付け予測	-	◯	◯	◯	◯	◯	◯
色関係
モノクロ映像フォーマット				◯	◯	◯	◯
9 および10 Bit サンプル深度					◯	◯	◯
11 および12 Bit サンプル深度							◯
8 Bit サンプル深度	◯	◯	◯	◯	◯	◯	◯
4: 2:0クロマフォーマット	◯	◯	◯	◯	◯	◯	◯
4: 2:2クロマフォーマット							◯
4:4:4クロマフォーマット							◯
エラー耐性
高度なエラー耐性 (FMO, ASO, RS)	◯	◯		◯	◯	◯	◯
より高度なエラー耐性 (DP)		◯		◯	◯	◯	◯
SP、 SIスライス		◯		◯	◯	◯	◯
その他（不詳）
Residual Color Transform							◯
Predictive Lossless Coding							◯

　高位のプロファイルは下位プロファイルの機能を包含する。規格上も高位プロファイルに対応するものは下位プロファイルのビットストリームは全てデコード可能でなければならないとしている。

　High profileが短期間に極めて大きな関心を集めている理由は、実装上の複雑さがMain profileに比べて非常に小さく（ほとんど無い）、その一方で圧縮能力は主観的にも客観的にも向上（特にカスタム量子化マトリクスと適応的マクロブロック・レベルスイッチングによる）し、エンコーダ制御の自由度も増すためだ（CbとCrに独立した量子化パラメータを使える事による）。

【元ネタ１】

総務省情報通信審議会情報通信技術分科会（第４２回）情報源符号化部『H.264 | MPEG-4 AVC 規格の概要』
入手先：配布資料資料４２−１−２
pdf直リン：http://www.soumu.go.jp/joho_tsusin/policyreports/joho_tsusin/bunkakai/pdf/060720_3_1-2_sa2.pdf

【元ネタ２】

『Introduction paper to H.264/MPEG-4 AVC including the Fidelity Range Extension』
入手先：スウェーデン、 Luleå University of Technology、Dr. Peter Parne氏の講義ガイダンスの模様。
pdf直リン：http://media.csee.ltu.se/%7Epeppar/kurs/smd151/spie04-h264OverviewPaper.pdf

[ 2006/12/14 00:00 ] 動画　MPEG-4全般 | TB(0) | CM(0)

H.264/AVC規格概要：レベル

レべル

　 H.264/AVCでは16種類のレベルが定められている。　
　取り扱う映像の画素数とフレームレートに対応しているが、これはそれらが実際の製品開発で重要なCPUパワーとメモリサイズの制約への影響が最も大きい為だ。また、最大参照フレーム数と、最大ビットレートもレベルにより制限がある。
　"1b"のようなレベルはFRExt改正で追加されたもので、主に3Gワイヤレス環境の要請に応えるためのもの。
　FRExt profileはより忠実度の高いアプリケーションの為の定義なので、ビットレートの許容範囲も表１のように拡大した。この係数は表２の７番目の列（非 FRExtでの最大圧縮ビットレート (VCL用)）で使われるものだ。

　Note：規格上、Levelが規定する最大フレームサイズとは、pixel/frameの合計数だけだ。水平・垂直それぞれの最大サイズは、Sqrt （maximum frame size * 8）以下でなければならない事を除けば規格には無い。（＊8の倍数でも良い？＊）
　もし、ある特定のレベルで、ピクチャ・サイズが表のサイズより小さければ、それに応じて動き予測と動き補償にもっと大きな数のマルチプル・レファレンスピクチャ（＊複数参照＊）が使える（最大16）。同様に、それぞれのレベルで最大フレームレートを指定する代わりに最大サンプル（ピクセル）レートが、マクロブロック /secという用語で規定されている。従って、もしピクチャ・サイズが表２の一般的なサイズより小さい場合、フレームレートは表２にある値よりも大きくとり得る。最大は172fps。各レベル・解像度ごとに対応可能な最大fpsは表３を参照。

表１：Compressed Bit Rate Multipliers for FRExt Profiles (表２の第７列参照)

FRExt Profile	Bit Rate Multiplier
High	1.25
High 10	3
High 4:2:2	4
High 4:4:4	4

表２ H.264/AVCのレベル

レベル	最大フレームサイズ (MBs)	最大 MB処理レート (MB/s)	最大映像ビットレート (kbps)	一般的なピクチャサイズ	一般的なfps	非FRExt での最大圧縮ビットレート (VCL用)	一般的なピクチャサイズでの最大参照フレーム数	符号化ピクチャ	想定プロファイル（下記に限定されない）				備考
1	99	1485	64	QCIF	15	64 kbps	4	フレームMBのみ	BP	EP
1b	99	1485	128	QCIF	15	128 kbps	4
1.1	396	3000	192	CIF or QCIF	7.5 (CIF) / 30 (QCIF)	192 kbps	2 (CIF) / 9 (QCIF)
1.2	396	6000	384	CIF	15	384 kbps	6
1.3	396	11880	768	CIF	30	768 kbps	6
2	396	11880	2000	CIF	30	2 Mbps	6
2.1	792	19800	4000	HHR (480i or 576i)	30 / 25	4 Mbps	6	フレームまたはフィールド			MP
2.2	1620	20250	4000	SD	15	4 Mbps	5
3	1620	40500	10000	SD	30 / 25	10 Mbps	5					HP～
3.1	3600	108000	14000	1280x720p	30	14 Mbps	5
3.2	5120	216000	20000	1280x720p	60	20 Mbps	4
4	8192	245760	20000	HD Formats (720p or1080i)	60p / 30i	20 Mbps	4
4.1	8192	245760	50000	HD Formats (720p or1080i)	60p / 30i	50 Mbps	4
4.2	8704	522240	50000	1920x1080p	60p	50 Mbps	4	フレームMBのみ
5	22080	589824	135000	2kx1k	72	135 Mbps	5
5.1	36864	983040	240000	2kx1k or 4kx2k	120 / 30	240 Mbps	5						x264 デフォルト

表３：各映像サイズに対応可能なレべルと最大フレームレート(fps)

映像フォーマット	輝度の WxH	最大フレームサイズ（MBs）	1.0	1b	1.1	1.2	1.3	2	2.1	2.2	3	3.1	3.2	4	4.1	4.2	5	5.1
SQCIF	128×96	48	30.9	30.9	62.5	125.0	172.0	172.0	172.0	172.0	172.0	172.0	172.0	172.0	172.0	172.0	172.0	172.0
QCIF	176×144	99	15.0	15.0	30.3	60.6	120.0	120.0	172.0	172.0	172.0	172.0	172.0	172.0	172.0	172.0	172.0	172.0
QVGA	320×240	300			10.0	20	39.6	39.6	66.0	67.5	135.0	172.0	172.0	172.0	172.0	172.0	172.0	172.0
525 SIF	352×240	330			9.1	18.2	36.0	36.0	60.0	61.4	122.7	172.0	172.0	172.0	172.0	172.0	172.0	172.0
CIF	352×288	396			7.6	15.2	30.0	30.0	50.0	51.1	102.3	172.0	172.0	172.0	172.0	172.0	172.0	172.0
525 HHR	352×480	660							30.0	30.7	61.4	163.6	172.0	172.0	172.0	172.0	172.0	172.0
625 HHR	352×576	792							25.0	25.6	51.1	136.4	172.0	172.0	172.0	172.0	172.0	172.0
VGA	640×480	1200								16.9	33.8	90.0	172.0	172.0	172.0	172.0	172.0	172.0
525 4SIF	704×480	1320								15.3	30.7	81.8	163.6	172.0	172.0	172.0	172.0	172.0
525 SD	720×480	1350								15.0	30.0	80.0	160.0	172.0	172.0	172.0	172.0	172.0
4CIF	704×576	1584								12.8	25.6	68.2	136.4	155.2	155.2	172.0	172.0	172.0
625 SD	720×576	1620								12.5	25.0	66.7	133.3	151.7	151.7	172.0	172.0	172.0
SVGA	800×600	1900										56.8	113.7	129.3	129.3	172.0	172.0	172.0
XGA	1024×768	3072										35.2	70.3	80.0	80.0	170.0	172.0	172.0
720p HD	1280×720	3600										30.0	60.0	68.3	68.3	145.1	163.8	172.0
4VGA	1280×960	4800											45.0	51.2	51.2	108.8	122.9	172.0
SXGA	1280×1024	5120											42.2	48.0	48.0	102.0	115.2	172.0
525 16SIF	1408×960	5280												46.5	46.5	98.9	111.7	172.0
16CIF	1408×1152	6336												38.8	38.8	82.4	93.1	155.2
4SVGA	1600×1200	7500												32.8	32.8	69.6	78.6	131.1
1080 HD	1920×1088	8160												30.1	30.1	64.0	72.3	120.5
2Kx1K	2048×1024	8190												30.0	30.0	63.8	72.0	120.0
2Kx1080	2048×1080	8704														60.0	67.8	112.9
4XGA	2048×1536	12288															48.0	80.0
16VGA	2560×1920	19200															30.7	51.2
3616x1536 (2.35:1)	3616×1536	21696															27.2	45.3
3672x1536 (2.39:1)	3680×1536	22080															26.7	44.5
4Kx2K	4096×2048	32768																30.0
4096x2304 (16:9)	4096×2304	36804																26.7