Bộ giáo dục đào tạo Trường đại học bách khoa hà nội Phan TiÕn Dòng nghiên cứu tìm hiểu chuẩn mpeg-4 phương pháp tiên tiến nén video theo chuẩn mpeg-4 H.264 Chuyên ngành : Công nghệ thông tin Luận văn thạc sĩ ngành c«ng nghƯ th«ng tin Ng­êi h­íng dÉn khoa häc: PGS.Ts: Nguyễn thị hoàng lan Hà nội - 2004 Lời cam đoan Tôi tên : Phan Tiến Dũng Học viên lớp Cao học Công nghệ thông tin 2002 Tôi đà làm đồ án tốt nghiệp cao học CNTT với tên đề tài: Nghiên cứu tìm hiểu chuẩn MPEG-4 phương pháp tiên tiến nén video theo chuẩn MPEG-4 H.264, PGS.TS Nguyễn Thị Hoàng Lan hướng dẫn Tôi xin cam đoan nội dung đồ án tốt nghiệp tìm hiểu, nghiên cứu thực Nếu sai hoàn toàn chịu trách nhiệm trước trường, pháp luật Hà Nội, ngày tháng năm 2004 Người cam ®oan Phan TiÕn Dịng Mơc lơc Lêi cam ®oan .2 Môc lôc .3 Danh mục ký hiệu, chữ viết t¾t Danh mục bảng Danh mơc c¸c hình vẽ đồ thị .9 Mở đầu 11 Chương I: Video số chuẩn mpeg-4 13 1.1 Giíi thiƯu 13 1.2 Các thành phần chuẩn MPEG-4 14 Ch­¬ng II: tìm hiểu mpeg-4 visual đặc tả nội dung 18 2.1 Kh¸i qu¸t MPEG-4 Visual 18 2.1.1 Các tính 19 2.1.2 Các công cụ, đối tượng, mô tả mức .20 2.1.3 Các đối tượng video 22 2.2 M· ho¸ c¸c khung hình chữ nhật 23 2.2.1 Định dạng video vào 23 2.2.2 M« tả đơn giản .24 2.4 M· ho¸ c¸c vïng cã h×nh bÊt kú 26 2.4.1 Mô tả lõi 27 2.4.2 Mô tả 32 2.4.3 Mô tả hiệu mà hoá tiên tiến (ACE) 35 2.4.4 Mô tả N-bit .36 2.5 M· hoá video liên hoàn 36 2.5.1 Liên hoàn không gian .37 2.5.2 Liên hoàn thời gian 37 2.6 M· ho¸ bỊ mỈt .37 Chương III: tìm hiểu chuẩn H.264/ MPEG-4 phần 10 40 3.1 Khái quát sơ đồ mà hoá theo chuẩn H.264 40 3.2 CÊu tróc H.264 41 3.2.1 Các mô tả mức 41 3.2.2 Định dạng video 42 3.2.3 Định dạng liệu mà hoá 43 3.2.3 Định dạng liệu mà hoá 43 3.2.4 Các hình ảnh tham khảo 43 3.2.5 C¸c l¸t 44 3.2.6 Macroblocks 45 3.3 Mô tả dòng 45 3.3.1 Kh¸i qu¸t 45 3.3.2 Qu¶n lý ¶nh tham kh¶o 46 3.4 Mô tả 46 3.5 Mô tả më réng .47 3.5.1 Các lát SP SI .47 3.5.2 Các lát liệu phân đoạn .48 3.6 Trun t¶i H.264 48 3.7 So sánh MPEG-4 Visual H.264 .49 Ch­¬ng IV: nghiên cứu kỹ thuật tiên tiến cải thiện khả dự đoán dựa vào nội dung H.264/AVC 50 4.1 Kh¸i qu¸t chung 50 4.2 Dự đoán chun ®éng 50 4.2.1 Dự đoán khung hình 50 4.2.2 Dù đoán liên ảnh .52 4.2.3 Dự đoán khối l¸t B 58 4.2.4 Dự đoán trọng số .61 4.3 Dự đoán néi dung m· ho¸ 62 4.3.1 Mà hoá độ dài thay ®ỉi thÝch nghi víi néi dung (Context-based Adaptive Variable Length Coding CAVLC) 62 4.3.2 Mà hoá số học nhị phân thích nghi với nội dung (Context-based Adaptive Binary Arithmetic Coding CABAC) 67 4.3.3 Cải thiện mà hoá hƯ sè chun ®ỉi CABAC 71 4.3.4 Thêm khung cảnh (Context-Tree Weighting CTW) .74 4.4 KÕt luËn 77 Ch­¬ng V: Thiết kế cài đặt số giải thuật c«ng nghƯ nÐn video theo chn mpeg-4 78 5.1 Đặt vấn đề, mục đích thiÕt kÕ thư nghiƯm .78 5.2 Thiết kế chức 78 5.2.1 TiÒn xö lý 79 5.2.2 Phân tách đối t­ỵng 80 5.2.3 Dự đoán chuyển động .81 5.2.4 DCT/IDCT .81 5.2.5 BiÕn ®ỉi Wavelet (DWT) 82 5.2.6 Lượng tử/ thay đổi tû lÖ 82 5.2.7 M· ho¸ entropy 83 5.2.8 HËu xö lý 84 Chương VI: Kết đánh gi¸ 86 6.1 Đánh giá kết thực nghiệm .86 6.1.1 ThÝ nghiÖm .86 6.1.2 Đánh giá 87 KÕt luËn 89 Phô lôc 91 A Bảng so sánh mà hoá MPEG-2 MPEG-4 91 B Tài liệu tham khảo .92 Danh mục ký hiệu, chữ viÕt t¾t Tõ viÕt t¾t TiÕng Anh AVI Audio Video Interleave BDM B-frame BMA CBP CZS DZS DCT DPCM DVD Fps FS FTSS GDA GOP HDTV I-frame IDCT IEC ISO ITU-T MAD MB MBT MCP ME MPEG MSE MV MVD NPDS NTSC NTSS P-frame PAL PD Pixel PPDS QP Block Distortion Measure Bi-directionally predicted frame Block Matching Algorithm Coded Block Pattern Circular Zonal Search Diamond Zonal Search Discrete Cosine Transform Diferential Pulse Code Modulation Digital Video Disk Frames/s Full Search Agorithm Fast Three Step Search Greedy Search Algorithm (GBMAs) Group Of Pictures High Definition Television Intra-frame Inverse Discrete Cosine Transform International Electrotechnical Commission International Standard Organization International Telecommunication Union Mean Absolute Difference Macroblock Macroblock Type Motion Compensated Prediction Motion Estimation Motion Picture Experts Group Tiếng Việt Định dạng file hỗ trợ thư viện Video for Windows Độ đo sai khác (méo) khối Khung hình dự đoán chiều Giải thuật đối sánh khối Kiểu khối mà hoá Tìm kiếm miền dạng tròn Tìm kiếm miền dạngdiamond Phép biến đổi cosin rời rạc Điều xung m sai phân Đĩa video dùng kỹ thuật số Số khung hình giây Giải thuật tìm kiếm vét cạn Tìm kiếm ba bước nhanh Giải thuật tìm kiếm tham lam Nhóm ảnh Truyền hình có độ phân giải cao frame kiểu intra Biến đổi cosine rời rạc ngược Hội đồng kỹ thuật điện tử quốc tế Tổ chức tiêu chuẩn quốc tÕ HiƯp héi trun th«ng viƠn th«ng qc tÕ Trung bình sai khác tuyệt đối Macroblock Kiểu Macroblock Dự đoán bù chuyển động Đánh giá ước lượng chuyển động Nhóm chuyên gia nghiên cứu ảnh động Mean Squared Error Sai số trung bình bình phương Motion vector Vectơ dịch chuyển Motion Vector Differential Sai khác vectơ dịch chuyển Normalized Partial Distortion Search Tìm kiếm méo cục chuẩn hoá National Television System Héi ®ång hƯ thèng TV qc gia Mü Committee New Three Step Search T×m kiÕm ba b­íc kiĨu Forward prediction frame Frame dự đoán thuận Phase Alternation Line Hệ PAL Partial Distortion Giá trị méo cục Picture element Điểm ảnh Progressive Partial Distortion Search Tìm kiếm méo cục liên tiến Quantization Parameter Thông số lượng tư ho¸ RLC SAD SNR SP-picture TSS TCL VLC VO VOL VOP VS Run - Length Coding Sum Absolute Difference Signal to Noise Ratio Inter-stream transitional picture Three Step Search Algorithm (3SS) Transform Coefficient Level Variable Length Coding Video Object Video Object Layer Video Object Plane Video Session M∙ hóa loạt dài Tổng sai khác tuyệt đối Tỉ số tín hiệu nhiễu ảnh tịnh tiến liên dòng Giải thuật tìm kiếm ba bước Mức hệ số chuyển đổi M độ dài thay đổi Đối tượng video Lớp đối tượng video Mặt phẳng đối tượng video Phiên video Danh mục bảng Bảng 2.1: Các mô tả MPEG-4 Visual cho mà hoá video tự nhiên 20 Bảng 2.2: Các mô tả MPEG-4 Visual cho mà hoá video nhân tạo kết hợp 21 Bảng 2.3: Các mức mô tả đơn giản 22 Bảng 3.1: Các chế độ lát H.264 44 Bảng 3.2: Tổng hợp khác MPEG-4 Visual H.264 49 Bảng 4.1: Chọn lựa bảng tìm kiếm cho coeff_token 63 Bảng 4.2: Ngưỡng để định tăng suffixLength hay không 64 Bảng 4.3 Mô hình khung cảnh cho bin 69 B¶ng 4.4 Mô hình khung cảnh 69 Bảng 4.5: Các kiểu khối với số hệ số kiểu khung cảnh liên quan 72 Bảng 6.1: Nhận xét đặc tính hình ảnh sau nén theo cảm thụ chủ quan .87 Danh mục hình vẽ đồ thị H×nh 1.1: KiÕn tróc MPEG-4 15 Hình 2.1: Mô hình chung cña MPEG-4 18 Hình 2.2: Ba chế độ lớp đối tượng video (I-VOP, P-VOP, B-VOP) [18] 23 Hình 2.3: Các bước mà hoá giải mà I-VOP 24 Hình 2.4: Các bước mà hoá giải mà P-VOP 25 Hình 2.5: Mẫu khung cảnh cho BAB néi khung 28 Hình 2.6: Mẫu khung cảnh cho BAB liên khung 29 Hình 2.7 Điền đầy chiều ngang dọc MB biên 30 Hình 2.8: Minh hoạ phần gốc tĩnh (nÒn) 34 Hình 2.8: Cây thứ tự quét 39 H×nh 3.1: Bé m· ho¸ H.264 40 Hình 3.2: Bộ giải mà H.264 40 Hình 3.3: Mô tả dòng bản, chính, më réng H.264 .42 H×nh 3.4: Chuỗi khối NAL 43 Hình 3.5: Cú pháp l¸t 45 Hình 3.6: Ví dụ chuỗi thành phần RBSP 48 Hình 4.1: Các chế độ dự đoán 4x4 chói 51 H×nh 4.2: Các chế độ dự đoán nội khung 16x16 52 Hình 4.3: Phân vùng macroblock: 16x16, 8x16, 16x8, 8x8 .53 Hình 4.4: Phân vùng macroblock: 8x8, 4x8, 8x4, 4x4 .53 H×nh 4.5: VÝ dơ vỊ dự đoán số mẫu nguyên mẫu 54 Hình 4.6: Nội suy vị trí nưa ®iĨm chãi .55 Hình 4.7: Các vị trí nội suy phần t­ ®iĨm chãi 56 Hình 4.8: Các vị trí nội suy phần tám mẫu màu 56 Hình 4.9: Các phân vùng lân cân (kích thước phân vùng giống nhau) 57 Hình 4.10: Các phân vùng lân cận (các kích thước phân vùng khác nhau) 58 10 Hình 4.11: Các ví dụ dự đoán phân vïng kiĨu macroblock B 59 H×nh 4.12: Các ví dụ chế độ dự đoán macroblock lát B 60 Hình 4.12: Các mô hình khung cảnh dùng mà hoá hình dạng .67 Hình 4.13: Hai ví dụ định khung cảnh cho mà hoá giá trị tuyệt ®èi c¸c hƯ sè cã nghÜa 74 Hình 5.1: Các khối chức mà hoá .79 Hình 5.2: Biểu ®å chun ®ỉi cosine nhanh 82 Hình 5.3: Sơ đồ mà hoá ®é dµi thay ®ỉi 83 Hình 5.4: Sơ đồ mà hoá khối CABAC [17] 83 H×nh 5.5: Thùc thi bé läc sau 84 H×nh 5.6: Thùc thi bé läc lỈp 85 79 Nguån tÝn hiÖu Tiền xử lý Phân tách đối tượng Mà hoá entropy Dòng mà Dự đoán bù chuyển động Lượng tử hoá DCT Biến đổi Wavelet Hình 5.1: Các khối chức chÝnh bé m· ho¸ 5.2.1 TiỊn xư lý HiƯu nén mà hoá video cải thiện đáng kể tiền xử lý khung hình video trước mà hoá Các vấn đề nguồn tín hiệu và/hoặc hệ thống bắt hình video làm giảm tiến trình mà hoá giải mà video Nhiễu camera xuất vùng tần số cao thay đổi từ khung hình đến khung hình khác Bộ mà hoá nhìn thấy nhiễu thành phần tần số cao đưa vào dư thừa bù chuyển động để mà hoá dẫn đến tăng tốc độ bit mà Do nhiễu camera làm giảm đáng kể hiệu mà hoá Lọc chuỗi đầu vào trước mà hoá làm giảm nhiễu camera dẫn đến cải thiện hiệu nén Các thông số lọc cần chọn cẩn thận để tránh lọc thông tin hữu ích chuỗi video Các tượng khác giảm hiệu nén rung giật camera, chuyển động nhỏ camera khung hình liên tiếp, đặc tính cách cầm máy, camera ổn định Những mà hoá xem chuyển động toàn khung hình Bù chuyển động sửa phần chuyển động giải thuật dự đoán chuyển động dựa vào khối thường khả sửa lỗi toàn cho rung giật camera kết làm tăng dư thừa lượng làm giảm hiệu nén Nhiều camera dân dụng chuyên nghiệp đưa thêm hệ thống ổn định ảnh với nổ lực bù tự động chuyển động nhỏ camera sử dụng chế và/hoặc phương pháp xử lý ảnh Cải thiện chuỗi video đưa vào làm tăng hiệu nén liệu mà dùng bù chuyển động 80 5.2.2 Phân tách đối tượng Các chức dựa vào đối tượng MPEG-4 (Lõi, Chính mô tả liên quan) yêu cầu cảnh video phân tách thành đối tượng Phương pháp phân tách thường rơi vào ba nhóm sau đây: Phân tách tay: yêu cầu người thao tác để xác định đường biên đối tượng khung h×nh video ngn, tiÕn tr×nh tèn rÊt nhiỊu thêi gian hiển nhiên phù hợp với nội dung video hoạt động ngoại tuyến (dữ liệu video bắt hình vào mà hoá trước truyền dẫn) Cách tiếp cận thích hợp với ví dụ phân tách đối tượng nhìn quan trọng xem nhiều người dùng và/hoặc dùng dùng lại nhiều lần tổng hợp chuỗi video khác Phân tách bán tự động: người thao tác xác định đối tượng đường biên đối tượng khung hình, giải thuật phân tách lọc đường biên đối tượng (nếu cần thiết) dò tìm đối tượng video thông qua khung hình chuỗi Phân tách hoàn toàn tự động: giải thuật nỗ lực thực phân tách toàn cảnh nhìn mà can thiệp vào, ví dụ dựa đặc điểm không gian đường biên đặc điểm thời gian đối tượng chuyển động khung hình Phân tách bán tự động có tiềm đưa kết tốt phân tách hoàn toàn tự động yêu cầu người dùng đưa vào Nhiều giải thuật đà đề nghị phân tách tự động Nói chung thực phân tách tốt dành nhiều chi phí độ phức tạp tính toán Một vài giải thuật phân tách tinh vi yêu cầu tính toán nhiều so với thân tiến trình mà hoá Lý thực phân tách xác dành nhiều cách tiếp cận không gian- thời gian phân tách thô xấp xỉ thực dựa vào thông tin không gian sau phân tách tinh đối tượng chuyển động Kết phân tách tốt thông dụng môi trường điều khiển (ví dụ: người dẫn chương trình truyền hình đứng trước màu xanh) Đây khối chức yêu cầu kỹ thuật phân tích, nhận dạng nên không đề cập đồ án 81 5.2.3 Dự đoán chuyển động Dự đoán chuyển động tiến trình chọn lựa bù đắp vào vùng tham khảo phù hợp khung hình mà hoá trước Dự đoán chuyển động thực mà hoá video (không có giải mÃ) có ảnh hưởng đáng kể đến hiệu mà hoá Chọn lựa tốt dự đoán tham khảo làm tối thiểu độ dư thừa bù chuyển động cho hiệu nén đạt tối đa Tuy nhiên tìm kiếm bù đắp tốt cần nhiều thủ tục tính toán Bù đắp vùng khối vùng tham khảo (vectơ chuyển động) hạn chế ngữ nghĩa chuẩn mà hoá Vectơ chuyển động đến vùng tham khảo vùng rộng (vùng tìm kiếm) Mục đích giải thuật dự đoán chuyển động tìm kiếm vectơ để tối thiểu độ dư thừa sau bù chuyển động giữ độ phức tạp tính toán giới hạn chấp nhận Chọn lựa giải thuật phụ thuộc vào tảng (ví dụ phần cứng phần mềm) dựa vào dự đoán chuyển động khối vùng 5.2.4 DCT/IDCT Biến đổi cosin rời rạc sử dụng rộng rÃi giải thuật nén ảnh video nhằm loại tương quan ảnh liệu dư thừa để lượng tử hoá nén 5.2.4.1 8x8 DCT Biến đổi chiều cosin rêi r¹c cho bëi N −1  (2i + 1) xπ  Fx = C x ∑ f i cos 2N n=0 (5.1) Công thức biến đổi cosin rời rạc hai chiều theo công thức N  N −1  (2 j + 1) yπ Yxy = C x ∑ C y ∑ X ij cos 2N  n=0  j =0   (2i + 1) xπ   cos  2N    (5.2) Công thức biến đổi ngược cosin rời rạc hai chiỊu theo c«ng thøc N −1  N −1  (2 j + 1) yπ X xy = ∑ C x ∑ C yYij cos 2N  x =0  y =0   (2i + 1) xπ   cos N (5.3) Để giảm độ phức tạp tính toán cần sử dụng phép biến đổi DCT nhanh giải thuật hình sau: 82 x(0) X(0) C4 x(1) 2C8 x(2) -1 x(3) 2C8 -1 x(4) 2C16 x(5) -1 2C 16 x(7) -1 2C C4 -1 DÞch 1/2 X(1) chun 1/2 X(2) bit 1/2 -1 X(3) X(4) -1 C4 -1 2C 16 x(6) -1 -1 -1 13 16 -1 2C8 -1 -1 C4 -1 -1 X(5) X(6) -1 X(7) Hình 5.2: Biểu đồ chun ®ỉi cosine nhanh 5.2.5.2 BiÕn ®ỉi 4x4 H.264 Biến đổi phát triển từ DCT 4x4 theo c«ng thøc sau:  1   T Y = (CXC ) ⊗ E =   1   d  1 d −d −1 −1 −1 1  1 1 d   a   −  1 d − −   ab [X ] ⊗  1 − − 1   a     − d  1 − 1 − d   ab ab b2 ab b2 a2 ab a2 ab ab   b2  (5.4) ab   b  5.2.5 BiÕn ®ỉi Wavelet (DWT) DWT chọn để mà hoá bề mặt tÜnh MPEG-4 bëi v× nã cã thĨ thùc hiƯn biến đổi dựa vào khối cho mà hoá ảnh tĩnh (mặc dầu dự đoán nội khung biến đổi H.264 thực tốt cho ảnh tĩnh) Một vấn đề liên quan đến thực thi DWT phần mềm phần cứng yêu cầu nhớ thực tế nhiều so với biến đổi khối thao tác thực toàn ảnh vùng lớn ảnh (hơn khối nhỏ liên quan mẫu) 5.2.6 Lượng tử/ thay đổi tỷ lệ Lượng tử tỷ lệ thay đổi tỷ lệ thực phép chia và/hoặc phép nhân thông số bất biến (điều khiển thông số lượng tử hoá kích thước bước lượng tử) Trong H.264 thông số lượng tử hoá kết hợp với biến đổi nhằm tạo linh hoạt kết hợp 83 5.2.7 Mà hoá entropy Mà hoá độ dài thay đổi Dữ liệu Tìm kiếm giá trị V độ dài L Chọn lựa bảng VLC Đóng gói L bit vào ghi R NhiỊu h¬n S byte R? Sai Kết thúc liệu Đúng Ghi S byte có nghĩa vào dòng bit Dịch phải R theo S byte Hình 5.3: Sơ đồ mà hoá độ dài thay ®ỉi M· ho¸ sè häc thÝch nghi víi néi dung: Giải thuật đà trình bày chương 4, Thành phần cú pháp Nhị phân hoá Biểu trưng nhị phân Khung cảnh gốc Mô hình khung cảnh Bộ nhớ khung cảnh Cập nhật khung cảnh Trạng thái MPS/ LPS Trạng thái nhớ LPS MPS Tiêu chuẩn hoá Đóng gói theo byte Đầu Hình 5.4: Sơ đồ mà hoá khối CABAC [17] 84 5.2.8 Hậu xử lý Các giải thuật nén video kết hợp chặt chẽ với lượng tử hoá vốn đà làm thông tin (các khung hình video giải mà không giống hệt nguyên gốc) Mục đích mà hoá tối thiểu méo mó tối đa hiệu nén Để giảm méo mó thực tế thấy chuỗi video giải mà cần xử lý (lọc) khung hình giải mà Nếu khung hình giải mà đà lọc dùng sau cho bù chuyển động, tiến trình lọc thêm lợi ích cho dự đoán bù chuyển động dẫn đến hiệu nén Các mà hoá dựa vào biến đổi khối đưa vào kiểu méo mó vào liệu video giải nén Ví dụ méo mó khối gây không trùng khớp biên khối 8x8 xây dựng lại, méo mó xê dịch (dọc theo đường biên đối tượng mô hình DCT phá vỡ) Méo mó khối hiển nhiên nhìn thấy méo mó ®iĨn h×nh cđa nÐn video Trong H.264 kÝch th­íc biÕn đổi khối nhỏ (4x4 8x8) nghĩa nhân tố méo mó khối nhỏ tồn Các lọc làm giảm méo mó khối và/hoặc ảnh hưởng xê dịch dùng rộng rÃi mà hoá cụ thể Mục đích lọc chống méo mó khối xê dịch tối thiểu ảnh hưởng méo mó khối xê dịch giữ tính quan trọng ảnh MPEG-4 Visual mô tả lọc khối lọc xê dịch lựa chọn thêm Cả hai lọc thiết kế để đầu giải mà (hình 5.5) Với kiểu lọc sau này, khung hình mà hoá chưa lọc dùng để tham khảo cho xây dựng bù chuyển động khung hình sau Điều có nghĩa lọc cải thiện chất lượng trực quan giải mà không ảnh hưởng tiến trình mà hoá giải mà Bộ mà hoá Khung hình đầu vào Dự đoán bù chuyển động Khung hình xây dựng lại Bộ giải mà Biến đổi, Lượng tử hoá, Giải mÃ, thay đổi tỷ lệ, biến đổi ngược Xây dựng lại bù chuyển động Khung hình xây dựng lại Hình 5.5: Thực thi lọc sau Khung hình đà giải mà Bộ lọc 85 Bộ mà hoá Khung hình đầu vào Bộ giải mà Dự đoán bù chuyển động Biến đổi, Lượng tử hoá, Khung hình xây dựng lại Bộ lọc Giải mÃ, thay đổi tỷ lệ, biến đổi ngược Xây dựng lại bù chuyển động Bộ lọc Khung hình đà giải mà Khung hình xây dựng lại Hình 5.6: Thực thi lọc lặp Có thể tốt đặt lọc vào vòng lặp mà hoá giải mà (hình 5.6) Tại giải mÃ, khung hình mà hoá đà lọc lưu trữ cho xây dựng bù chuyển động Nhằm đảm bảo mà hoá sử dụng khung hình tham khảo giống hệt, lực áp dụng vào khung hình xây dựng lại mà hoá mà hoá sử dụng khung hình đà lọc cho dự đoán bù chuyển động sau Nếu chất lượng khung hình đà lọc tốt khung hình giải mà không lọc đưa so sánh với khung hình mà hoá tốt kết dư thừa nhỏ sau bù chuyển động tăng hiệu nén H.264 sử dụng kiểu lọc vòng lặp Một bất lợi việc đưa lọc vào vòng lặp phải xác định chuẩn (để giải mà lặp lại tiến trình lọc thành công) hạn chế phạm vi sáng tạo thiết kế lọc 86 Chương VI: Kết đánh giá 6.1 Đánh giá kết thực nghiệm Chương trình phát triển từ phiên nén video theo chuẩn MPEG-1 trước Phương pháp mà hoá thích nghi áp dụng chương trình tuân theo yêu cầu mà hoá chuẩn MPEG-4 Trong trình thực không xảy lỗi đưa thông báo lỗi xác có can thiệp không người dùng Chương trình nhằm mục đích nâng cao hiệu nén không tập trung vào độ phức tạp tính toán nên đảm bảo thời gian thực So sánh giải thuật thực mà hoá video công việc khó, không chất lượng video giải mà phụ thuộc vào nguồn video vào vốn đà vấn đề chủ quan Do không xây dựng phần mềm kiểm tra nên tính toán tỷ lệ nén đánh giá chất lượng hình ảnh trực quan Qua so sánh với chương trình nén video theo chuẩn MPEG-1 trước để thấy hiệu kỹ thuật Sau hai thí nghiệm điển hình để so sánh 6.1.1 Thí nghiệm Thí nghiệm 1: Đoạn video dùng để thử nghiệm chương trình dựng từ dựng phi tuyến có nội dung đa dạng có từ cảnh có đối tượng đơn giản đến cảnh có nhiều đối tượng chi tiết, đối tượng chuyển động với tốc độ khác Đoạn video nén chương trình (phiên nÐn theo chn MPEG1 vµ theo chn MPEG-4) víi cïng tỷ lệ cho đoạn video có tốc ®é bit Ta sÏ so s¸nh b»ng trùc quan hai đoạn video Thí nghiệm 2: Nén đoạn video có kích thước hình nhỏ (320x240) với tốc độ bit thấp 88kB/s Mặc dù tốc độ bit thấp ta phân biệt rõ đối tượng không bị nhiễu 87 6.1.2 Đánh giá Sự khác hai đoạn video sau nén từ chương trình tóm tắt bảng sau: Bảng 6.1: Nhận xét đặc tính hình ảnh sau nén theo cảm thụ chủ quan Nội dung đặc trưng cđa video Khung h×nh b×nh th­êng Víi khung h×nh cã nội dung đơn giản Với khung hình có nhiều đối tượng đối tượng khác Với khung hình có nhiều đối tượng nhiều đối tượng giống Với cảnh quay nhanh Theo chuẩn MPEG-1 Theo chuẩn MPEG-4 Tại đường biên bị nhoà không rõ nét Xuất méo phi tuyến, hình thành rõ ô vuông kích thước 8x8 đường cạnh ô vuông thể chênh lệch mức màu, loang màu độ bóng ảnh Chất lượng hình không nâng cao Các chi tiết nhỏ bị mờ, nhoà đường biên rõ nét đối tượng rõ nét hình bị giật hình mềm mại Vẫn có méo phi tuyến không hình thành rõ ô vuông Cho hình ảnh rõ nét khung hình nhiều chi tiết cải thiện Ta giải thích nhận xét sở lý thuyết Chương trình nén chia ảnh thành khối xử lý riêng Nếu biến đổi không thông tin vấn đề xảy có thông tin 88 thông tin lại không đồng dẫn đến có sai lệch điểm lân cận mà lại nằm khối khác Khi thực bước lượng tử hoá ta thấy bảng lượng tử hoá giá trị bước lượng tử tăng dần theo thành phần tần số cao Sau trình lượng tử hoá giá trị ứng với thành phần tần số cao Trong chương trình nén theo chuẩn MPEG-1 sử dụng khối macroblock 16x16 biến đổi DCT 8x8 nên hình ảnh luôn chia nhỏ cố định theo khối 8x8 Trong chương trình nén theo chuẩn MPEG-4 sử dụng linh hoạt khối có kích thước nhỏ tuỳ thuộc vào nội dung (16x8, 8x16, 8x8, ,4x4)và biến đổi khối 4x4 Chính đường biên chương trình nén theo MPEG-4 rõ nét không bị hình thành « vu«ng lín cã thĨ nhËn thÊy b»ng m¾t th­êng Chương trình nén theo chuẩn MPEG-4 khai thác từ dự đoán nội dung dẫn đến hiệu cảnh video có nhiều chi tiết lặp lại có chuyển động đối tượng 89 Kết luận Đồ án tốt nghiệp cao học tổng hợp kiến thức đà học, tìm hiểu phương pháp nâng cao hiệu nén video số Tuy nhiên đề tài tìm hiểu lĩnh vực tương đối nghiên cứu khoa học, thực nghiệm MPEG-4 chưa công bố nên đồ án nhiều hạn chế Đồ án đà nêu bật vÊn ®Ị nỉi tréi vỊ nÐn video thÝch nghi víi nội dung đưa vấn đề cần xử lý Trong trình thực chương trình có nhiều vấn đề nảy sinh xử lý phụ đà giải trọn vẹn làm cho chương trình chạy ổn định hiệu Qua kiểm nghiệm so sánh với phương pháp nén video trước đà khẳng định ưu điểm bật phương pháp MPEG-4 Với mục đích đề ban đầu nghiên cứu giải thuật dự đoán mà hoá theo nội dung áp dụng MPEG-4 Visual H.264, luận văn đ thực đợ c vấn đề sau: 1- Về lý thuyết: ã Tìm hiểu chuẩn MPEG-4 ã Nghiên cứu kỹ thuật tiên tiến nén video MPEG-4 Visual H.264 ã Nghiên cứu vấn đề dự đoán chuyển động, dự đoán vectơ chuyển động, dự đoán trọng số ã Nghiên cứu sâu phương pháp khai thác khía cạnh nội dung video: dự đoán khối, mà hoá ®é dµi thay ®ỉi thÝch nghi víi néi dung, m· hoá số học nhị phân thích nghi với nội dung 2- Về thực nghiệm: ã Cài đặt số giải thuật dự đoán khối, mà hoá số học thích nghi với nội dung ã Cài đặt thử chương trình kết hợp với số hàm thư viện có sẵn Luận văn thật sự cố gắng lớn thân vận dụng kiến thức thu đợ c để nghiên cứu vấn đề mớ i mẻ có nhiều ứng dụng thực tế truyền hình Bản đồ án thực phần ứng dụng, cần bổ sung hoàn thiện mặt Rất mong nhận giúp đỡ, nhận xét góp ý 90 thầy cô người quan tâm đến đề tài để em tiếp tục nghiên cứu phát triển 91 Phụ lục A Bảng so sánh mà hoá MPEG-2 MPEG-4 Khuôn dạng ảnh Số ảnh khung hình Kích thước không gian ảnh Chữ hiển thị lên Tốc độ bit thấp Tốc độ bit cao Số mô tả sơ lược Đơn vị ảnh Định dạng file MPEG-2 Hình chữ nhật ảnh đơn Quy định chuẩn Không 1,5Mb/s 300Mb/s Nhóm ảnh (GOP) Không qui định chuẩn Quản lý quyền Cung cấp khoá không quy định Tương tác Không Khả dựng dựng khung hình I Đồng âm hình ảnh đồng phần cứng Mô hình khung hình Không Lưới cong Không Khả chuyển từ văn Không sang tiếng nói Khả tổng hợp âm nhạc Không Âm chiều Không Khả phục hồi lỗi Có vài Trộn suốt mức alpha Hỗ trợ ảnh Giao tiếp truyền Âm Không Không Một dòng truyền thời điểm Đơn, đôi âm vòm 5.1 MPEG-4 Hình chữ nhật khuôn dạng tuỳ ý Hạn chế khả giải mà Thay đổi có 5Kb/s 2Gb/s 38 Nhóm lớp video (GOV) Định dạng MP4 dựa Quicktime Cung cấp khoá không quy định chiều chiều lớp I-VOP Đồng lại giải mà Mặt thân chiều Có thể Có thể Có Tính mạnh số mô tả có Có thể nhận Đa giao diện đồng thời Đa kênh AAC 92 B Tài liệu tham khảo [1] Borko Furht, Stephen W Smoliar, HongJiang Zhang (1995) Video and image processing in multimedia systems Kluwer Academic Publishers [2] C Hung and T H.-Y Meng A Comparision of Fast Inverse Discrete Cosine Transform Algorithms Journal of Multimedia System, Vol 2, No 5, 1994 [3] Chengjie Tu and Trac D Tran, Context-Based Entropy Coding of Block Transform Coefficients for Image Compression IEEE Transactions on image processing, VOL 11, NO 11, 11-2002 [4] C Loeffler, A Ligtenberg and G Moschytz, Practical Fast 1-D DCT Algorithms with 11 Multiplications Proc Int'l Conf on Acoustics,Speech, and Signal Processing 1989 (ICASSP '89) [5] D LeGall MPEG: A Video Compression Standard For Multimedia Aplications Communications of ACM, Vol 34, No 4, April 1991 [6] Danny Hong, Mihaela van der Schaar and BÐatrice Pesquet-Popescu Arithmetic Coding with Adaptive Context-Tree Weighting for the H.264 Video Coders [7] Detlev Marpe, Heiko Schwarz, and Thomas Wiegand Context-Based Adaptive Binary Arithmetic Coding in the H.264/AVC Video Compression Standard IEEE Transactions on circuits and systems for video technology, VOL 13, NO 7, 7-2003 [8] E.chan, A A Rodriguez, R Gandhi and S Panchanathan Experiment on Block-Matching Techniques for Video Coding Journal of Multimedia Systems, Vol 2, No 5, 1994 [9] H Gharavi and Mi Mill Block Matching Motion Estimation Algorithms - New Result IEEE Transactions Circuits and Systems, Vol 37, 1990 [10] Iain E.G Richardson (2004) 93 H.264 and MPEG-4 Video Compression, John Wiley & Sons Ltd, England [11] ISO/IEC 10918-1 Digital compression and coding of continuos tone still images, 1992 (JPEG) INTERNATIONAL STANDARD [12] ISO/IEC 11172 Information technology - coding of moving pictures and associated audio for digital storage media at up to about 1,5Mbit/s, 1993 (MPEG-1) INTERNATIONAL STANDARD [13] ISO/IEC 13818 Information technology - coding of moving pictures and associated audio information, 1995 (MPEG-2) INTERNATIONAL STANDARD [14] ISO/IEC JTC/SC29/WG11 N4668, MPEG-4 Overview, http://www.m4if.org/resources/Overview.pdf, 2-2002 [15] Micheal Topic (2002) Streaming Media Demystified McGraw-Hill Telecom, England [16] M Nelson The Data Compression Book M&T Books, San Mateo, California, 1992 [17] Thomas Wiegand, Gary J Sullivan, Gisle Bjontegaard, and Ajay Luthra Overview of the H.264 / AVC Video Coding Standard IEEE Transactions on circuits and systems for video technology, 6-2003 [18] Touradj Ebrahimi MPEG-4 natural video coding - An overview Signal Processing Image Communication 15(2000) [19] VCEG document site, http://standard.pictel.com/ftp/video-site/ ... H. 26L chuyển thành chuẩn quốc tế (H. 2 64 /MPEG- 4 Phần 10) ISO/IEC ITU-T phát h? ?nh Cũng giống chuẩn video trước đây, chuẩn MPEG- 4 H. 2 64 không quy định mà hoá video Thay vào chuẩn quy định cú pháp dòng... mà 40 Chương III: tìm hiểu chuẩn H. 2 64/ MPEG- 4 phần 10 3.1 Khái quát sơ đồ mà hoá theo chuẩn H. 2 64 Nhóm chuyên gia ảnh động Nhóm chuyên gia mà hoá video (MPEG VCEG) đà phát triển chuẩn h? ??a h? ??n... Phan Tiến Dũng H? ??c viên lớp Cao h? ??c Công nghệ thông tin 2002 Tôi đà làm đồ án tốt nghiệp cao h? ??c CNTT với tên đề tài: Nghiên cứu tìm hiểu chuẩn MPEG- 4 phương pháp tiên tiến nén video theo chuẩn