Luận văn thạc sĩ Khoa học máy tính: Thêm đối tượng vào Frame Video

Một trongnhững thao tác quan trọng là thêm một đối tượng đã chọn vào hình ảnh khác nhằmtạo ra một bức hình đạt chất lượng tốt, đáp ứng nhu cầu của con người trong công việc, học tập và g

ĐẠI HOC QUOC GIA TP HO CHÍ MINHTRUONG DAI HOC BACH KHOA

NGUYEN VIET HUNG

THEM DOI TUONG VAO FRAME VIDEO

Chuyên ngành: KHOA HỌC MAY TINHMã số: 60.48.01

LUẬN VÁN THẠC SĨ

TP HO CHÍ MINH, THANG 6 NAM 2013

CÔNG TRINH ĐƯỢC HOÀN THÀNH TAITRƯỜNG ĐẠI HỌC BÁCH KHOA - ĐHQG TP.HCM

Cán bộ hướng dẫn khoa học: TS NGUYÊN THANH BINHCán bộ cham nhận xét 1: TS LÝ QUOC NGOC

Cán bộ cham nhận xét 2: TS LÊ THÀNH SÁCHLuan văn thạc sĩ được bảo vệ tai Trường Dai hoc Bách Khoa - ĐHQG Tp.HCM,ngày 24 tháng 7 năm 2013.

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:1 TS NGUYEN ĐỨC THÁI — Chủ tịch2 TS TRẤN VĂN HOÀI — Thư ký3 TS LÝ QUỐC NGỌC — Phản biện 14 TS LÊ THÀNH SÁCH — Phản biện 25 TS NGUYEN THANHBÌNH — Ủy viênXác nhận của Chủ tịch Hội đồng đánh giá LV va Trưởng Khoa quan lý chuyênngành sau khi luận văn đã được sửa chữa (nêu có).

CHỦ TỊCH HỘI DONG TRUONG KHOA KH & KTMT

TS Nguyễn Đức Thái

ĐẠI HỌC QUÓC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨHọ tên học viên: NGUYÊN VIỆT HÙNG MSHV: II07045INgày sinh: 15/5/1988 Noi sinh: Khánh HoaChuyén nganh: Khoa hoc may tinh Mã số: 60.48.01I TÊN DE TÀI:

THEM DOI TƯỢNG VÀO FRAME VIDEOIl NHIEM VU VÀ NỘI DUNG:

- Tìm hiểu các loại đối tượng và các frame ảnh.- Tìm hiểu các phương pháp thêm đối tượng đồ họa vào khung hình.- Đề xuất xây dựng phương pháp thêm đối tượng vào khung hình.- So sánh với các phương pháp khác.

HI NGÀY GIAO NHIỆM VỤ: 21/1/2013IV NGÀY HOÀN THÀNH NHIỆM VỤ: 21/6/2013V. CAN BO HUONG DAN: TS NGUYEN THANH BINH

Tp HCM, ngay 24 thang 7 nam 2013

CAN BO HUONG DAN CHU NHIEM BO MON DAO TAO

TS Nguyễn Thanh Bình

TRƯỞNG KHOA KH & KTMT

LOI CAM ONTôi xin chân thành cảm ơn sự giảng day nhiệt tinh của các thầy cô trong khoaKhoa Học và Kỹ Thuật Máy Tính, trường Đại Học Bách Khoa — Đại học Quốc GiaTP.HCM đã truyền thụ những kiến thức quý báu.

Tôi xin chân thành cảm ơn thay Nguyễn Thanh Binh đã tận tình hướng dẫn, hỗ

trợ và ủng hộ tôi trong quá trình thực hiện đề tài Trong thời gian làm việc với thay,

tôi không chi học hỏi thêm nhiều kiến thức bồ ích ma còn hoc được tinh than lam

việc, thái độ nghiên cứu khoa học nghiêm túc của thay

Con xin gui long biết ơn sâu sắc đến ba me, các bậc sinh thành đã có công nuôidưỡng, dạy dỗ tận tâm, luôn hết lòng chăm sóc, động viên, hỗ trợ nhiệt tình giúpcon vượt qua những giai đoạn khó khăn trong suốt quá trình thực hiện đề tải

Mặc dù tôi đã dành nhiều thời gian và công sức dé hoan thành dé tài trong khanăng cho phép nhưng không tránh khỏi thiếu sót Tôi mong nhận được sự thôngcảm, sự góp ý và chỉ bảo tận tình của mọi người.

Một lần nữa, tôi xin chân thành cảm ơn

TP HCM, ngày 21 tháng 6 năm 2013

Học viên thực hiện

Nguyễn Việt Hùng

IX

TÓM TATNgày nay, quá trình sử dụng các thao tác xử lý ảnh với mục đích tạo ra nhữngbức hình hay các khung hình hoàn chỉnh trong nhiều ứng dụng khác nhau: y học,viễn thông, sản xuất công nghiệp, điều khiển robot, chỉnh sửa hình ảnh Một trongnhững thao tác quan trọng là thêm một đối tượng đã chọn vào hình ảnh khác nhằm

tạo ra một bức hình đạt chất lượng tốt, đáp ứng nhu cầu của con người trong công

việc, học tập và giải trí.Một trong những vấn đề khó khăn hiện nay là làm sao để quay và chụp được cácảnh có chứa các đối tượng phức tạp để đưa vào trong phim Việc này càng trở nênphức tạp khi chúng ta làm thực tế Chính vì vậy, một trong những đóng góp chínhcủa luận văn là làm sao có thể đề xuất được kỹ thuật thêm đối tượng mới vào trongphim ảnh.

Luận văn đã thực hiện toàn bộ quá trình thêm đối tượng vào khung hình Quátrình này bao gồm 4 giai đoạn: xử lý dữ liệu đầu vào, lựa chọn vùng đối tượng từảnh khác và di chuyển vào khung hình, thực hiện xử lý quá trình thêm đối tượng vớigiải thuật tương ứng và kiểm tra trên dữ liệu thực tế Kết quả thu được là khunghình có đôi tượng mới được thêm vào.

Luận văn đưa ra hướng tiếp cận là nhận ra các đối tượng thực sự trong vùng đãchọn nhằm tăng tốc quá trình thực hiện giải thuật Hướng tiếp cận này là sử dụngmặt nạ toán tử Sobel 3x3 dé nhận dạng biên của các đối tượng trong vùng theo mộtngưỡng giá trị phù hợp Sau đó, ánh xạ mặt nạ này sang vùng đã chọn nhằm xácđịnh các đối tượng thực sự này

Nowadays, the use of image processing tasks to create a photograph or a framevideo in many diverse applications, such as: medicine, telecomunication, productionindustries, robot control, image editing, etc One of the most important tasks is in-serting a selected region into an other image to create high quality picture that satis-fy human’s needs for working, studying and entertainment.

One of the most important work in the movie editing is how to capture imagescontained complex objects This work is actually complicated Therefore, insertinga selected object is one of the most essential techniques in this thesis.

The thesis performs all processing tasks in inserting an object into frame video.The processing tasks includes: pre-processing data, select a region of an image andmove it to frame video, process insert a selected region with equivalent algorithmand apply testing on real data The result is a frame video with an inserted object.

The thesis proposes an approach that can recognize all the actual objects in lected region to speed up algorithms The approach used mask of Sobel 3x3 opera-tor for detecting boundary objects in selected region with a suitable threshold value.Based on this result, we will map this mask to a selected region so we can deter-mine those actual objects.

se-XI

LỜI CAM ĐOANTrong quá trình làm luận văn với dé tài “Thém đổi tượng vào frame video ”, tuycó rất nhiều khó khăn trong vẫn đề tìm tài liệu liên quan, nghiên cứu để xuất giảipháp nhưng đến nay tôi đã hoàn thành luận văn với sự giúp đỡ, chỉ bảo tận tình củathay Nguyễn Thanh Bình, các thay cô trong khoa Khoa Học và Kỹ Thuật Máy Tinh,trường Đại Học Bách Khoa — Đại học Quốc Gia TP.HCM.

Tôi cam đoan rằng toàn bộ nội dung luận văn thạc sĩ dưới sự hướng dẫn củathầy Nguyễn Thanh Bình là do tôi thực hiện, ngoại trừ các kết quả tham khảo từ cáccông trình khác đã ghi rõ trong phan Tai liéu tham khảo Các công việc trình baytrong luận văn này là do chính tôi thực hiện và chưa có phan nội dung nào được nộpdé lay một bang cấp ở trường này hay trường khác

Nêu có bat cứ sai phạm nào so với lời cam đoan, tôi xin chịu các hình thức xử lýtheo quy định.

TP HCM, ngày 21 tháng 6 năm 2013

Học viên thực hiện

Nguyễn Việt Hùng

XI

MỤC LỤC

Đề mục TrangTRANG BÌA CS 1 121 1T 11101111511 01010102 110101010 E110 01 11101010 HH iNHIEM VỤ LUẬN VĂN THAC SÌ -G <3 S1 S3 vn Hy ve iiiNHẬN XÉT CUA CAN BO HƯỚNG DAN ucececccccccescecsecescecssccecseceeceesaceacenees ivNHẬN XÉT CUA CAN BO PHAN BIEN 1 u.uececesescececceccececceeceececeecescercescaceeeeees viNHAN XÉT CUA CAN BO PHAN BIEN 2 - G5 2c xxx ssesee viiiLOL CAM 0907 ằằằ ix¡909101 XABSTRACCT - - ST cà 11 1111111111111 11 111111011 1 1111011111011 1101010011111 1 11116 xi0900.) 62979727 xiiI8 909922 xiiiDANH MỤC HINH ou.ecccccceccccccccescscscscsccscscscsesssscecsescsesssssscsessscecseseesesssseseeees XViiDANH MỤC BẢNG, - -G- 2c t1 91 9110191 11 11 5113 11 912 HH HT nung ngu xix

CHUONG 1 GIOT THIỆU 5 << << se se sesse<s 1

1.1 Giới thiệu dé tài - c1 1S S1 11111 111011111 1111010111 11101010 HH |1.2 Nội dung dé tài cece 1 121 11211111151 111010101 11011101110 11101010 HH |1.3 Phương pháp nghiÊn CỨU << 5< 5< c9 1H ng re 21.4 Giới hạn dé tài - - cS n1 121 2 1211111110 1110101011 11101 0101 11101010 HH 21.5 Cấu trúc trình bay luận văn ¿- + - SE SE SE SE E1 T HH re 3

CHƯƠNG 2 CO SỞ LÝ THUYÊT 5s<s<scesessseseseses 4

2.1 Đặc trưng VId€O HH TH nh 42.1.1 SỐ khung hình trong MOt giây c- «ket SE SE skterskekree 42.1.2 Tỷ lệ khung hìÌHÏH Ăn 1 T0 nhu 42.1.3 Không gian mau sắc và số bit cho một điểm ảnh + se sstsesecse 42.1.4 Chất lượng VidÌ€O «Set SEE ST HT HT TT He 5

Xiil

2.1.5 Một số định AANG VÏ(GO c3 111111110 80930 1111111110 10 1 111v và 52.2 Đặc trưng tập tin A VÌ[L - cọ ng 6N9 110 1g n ố ó2.2.2 Danh SACK TIOVI c0 0 TH ke 72.2.3 Phụ dé trong 4I «Set SE SE ST HT HT ng HT HT re 82.2.4 Chi Phe trong 060/8 ằốằ 102.3 Các đối tượng don ian occ ccceesescscsesscscscscsesesscscsesesssscscsesessssscsesesees 102.3.1 Đường gấp KAUC ceeccccccceccecseccsssssesscescscevsvsvscvsvecsecsvscsstsvacsvacsecstsctetsvaveees 11QZ.3.2 VGN DAN nằ ẦẮẦẮẦẲẦẮẦẦẲẲa 12Via Pee Pn 0) 10d | Ố e 122.3.4 Ảnh ma trận Gem cocccccccccccccccsccsccssessecsesscessessessessecssesscsscesscsscessesscsscsasesees 132.4 Ảnh mau RGB + tt t2 E12 1.1111 132.4.1 Phân giải từng thành phan màu cơ bản từ một điểm -scssssc«: 142.4.2 Tổng hợp màu từ ba thành phân màu tại một điỂm -s css5«: 152.5 Đánh giá chất lượng khung hình +22 2 2 E222 £+E+E£E£*£zEzvzererscee 152.5.1 Trung bình bình phương sai lỖI - St EESkE*EEeESEEeerkreesersed 152.5.2 Tỷ lệ tín hiệu dinh trên 77727 16

CHUONG 3 CÔNG TRÌNH NGHIÊN CỨU LIEN QUAN 18

3.1 Phương pháp POISSOT - -Ă Q S1 S1 ng 18

“2171 7a 213.1.3 Chỉnh sưa vùng [Wt CHỌPH ST vn rà 233.2 Kỹ thuật tô mau hình - - c1 ng ng ng 2 và 253.2.1 Tĩnh todin AG wu ti€n CAC IHHĂHH Ă G2 SE S1 SE S9 vs xe 273.2.2 Tổng hợp Ket CẤM Set SE SE TT TT HT HT rec 28nh ằằa Ả G - 29Ÿ.2.4 Giới HH tO THÀU Gv kh 293.3 Phương pháp cải thiện mau sắc - 2-2252 2E 2*2* E2 £+E+EE£E£zEzvrererzree 303.4 Tính toán tử Laplace - - S1 S11 nh 35

XIV

3.4.1 Xác định V€CÍƠ Ö GV TK cv ve 323.4.2 Xáy dựng IMA trẬN Á Gv nhà 3ó3.4.3 Giải quyết phương trÌHH Set TT HT HT net 373.5 Kỹ thuật nhận dạng biên SObel +11 1 S11 1 1 1 v.v vs 38

CHƯƠNG 4 _ THÊM DOI TƯỢNG VÀO KHUNG HÌNH 41

AL Giải thuật dé xuất - càng rời 4I4.2 Mô hình tổng quát thêm đối tượng -. - ¿22 + *+*£££+E+E+E+E££zezereceei 444.3 Tiền xử ly dữ liệu ¿ - 1s S 111 1 111151111511 1 1111010201101 0101 00 g0 454.3.]l Livre tr it Ait HIỆU ST cv vớ 464.3.2 TÍmf VIỆH SỨ (HH ĂĂ Ăn HH KT TT cv vớ 474.3.3 Doc tap tin cùng định dạng trong MOt the MUC << S3 474.3.4 Thao tác trên bức hình chứa đối ƯỢNG, c set ssetskskrersereree 474.3.5 Tach khung hình tie (OQH VI(Ì€O c Ăn 11v 11x 1v vớ 464.4 Xác định và di chuyển vùng lựa chọn scss + s1 vớ 484.4.1 Xác định vùng lựa chọn trong ảnh HguÖH - «sec se tk secerseeeree 464.4.2 Di chuyển vùng lựa chon tới khung hình «sec setskskeersereree 544.5 Xử ly thêm đối tượng vào khung hình oo cece cesses ceeseseeeeeeeeseees 554.5.1 Phương pháp POISSOH Q1 1v vớ 554.5.2 Phương pháp Ge XUGE eeccccccccscscssessscssesssvscsssscsvsctecsvscsvevscesvscseevscecsvaseees 57

CHUONG 5 THI NGHIEM VA DANH GIA KET QUA 63

5.1 Hiện thực đánh giá kết qua c.cccccceecccccssescscscsesesscscscsesssscscsesesssssscsesesaes 635.2 Tap kidm ah 655.3 Cấu hình hệ thống kiểm tra co.cc ccccsecsescecscscsesscscscsesssscscsesessessscsesesees 665.4 Thực hiện thí nghiỆm - - - - c5 S5 0001101011010 31111111011 v11 1v vn rhh 6753.4.l TƯỜNG HỢP On SH TT TT rà 675.4.2 TƯỜNG HỢP Ö ng TT TT rà 685.4.3 TƯỜNG HỢP HH TT TT rà ó99.4.4 Trường HỢP Ẩ KH KH gọt kh 70

XV

CHƯƠNG 6 KET LUẬN s << se «se sesessesesesses 72

6.1 Kết qua đạt đưỢC -. - c1 1S E11 1 1 5151511111110 1110101 1111010101010 1111 726.2 Đóng góp của luận văn - ch 736.3 Hướng phát triỂn - c5 < E1 1S 515151 515 11111115 5111111101011 1111 te 73TÀI LIEU THAM KHHẢO óc 1S 2363 9195191 E1 8E SE 12 kg gyn gvrke 75PHAN LY LICH TRÍCH NGANG G2 E2 23 195195191 98 1 3E seo 77

XVI

DANH MỤC HINHĐề mục TrangHình 2-1 Minh hoa các đối tượng đơn giản - ¿5 < S2 S2 E2 zErErxrxrrce 1]Hình 2-2 Minh họa đoạn thăng (a), một số cách nối đường gấp khúc tại

các giao diém (b) và da gláC (C) - Q Gv 11Hình 2-3 Một số phông chữ với các thuộc tinh trong văn bản . - 12Hình 2-4 Mang 8x7 sử dụng cho một 6 trong anh rasfer - -+- 13Hình 2-5 Xây dựng một điểm thuộc ảnh mau RGB trong Java - 14Hình 2-6 Tach thành phan mau đỏ từ một điểm pColor - 25 55+: 14Hình 2-7 Phép dịch sang trái 16 bit thành phần màu đỏ tại một điểm 15Hình 3-1 Minh họa các ký hiệu hướng nOi SUy .-. -ĂĂSĂ S52 <+2 18Hình 3-2 Tập các điểm liên thông liền ké P1, P2, và P3 trong S 20Hình 3-3 Che đậy các đặc trưng không mong muốn dựa trên các vùng

tương tự trong ảnh ban dau - - - -Ă 5S + x3 3 kg 22Hình 3-4 Thực hiện chèn vùng lựa chọn vào ảnh đích . - <<: 22

Hình 3-5 Chèn vùng lựa chọn chứa lỗ -¿- +2 2+6 E+3E2E£2E£2E2EE2E£EzxEzx re, 23

Hình 3-6 Texture ÍÏaf€TITIE - - 5 - c c9 ng 24Hình 3-7 Thay đối cường độ sáng cục ĐỘ :- ¿+ ¿22+ SE +E2E2E2E 2E zErErrxrrce 24Hình 3-8 Thay đối mau sắc cục bộ - + + S222 S 1321 1 5 111111 1111111 re 25Hinh 3-9, Lat li€n mach, 8n 25Hình 3-10 Quá trình phục hồi bức hình sử dung kỹ thuật tô màu 26Hình 3-11 Chú thích ký hiệu trong giải thuật Exemplar - << - +- 27Hình 3-12 Minh họa thực hiện dán liền mạch giữa các phương pháp 33Hình 3-13 Sơ đô thực hiện cải thiện dán liền mạch . + sec 34Hình 3-14 Minh họa các trạng thái liền kể cho vùng mặt nạ 36Hình 3-15 Đánh số cho mặt nạ trong vùng (2 ¿2+ + 2 xe +x+xcv sec 36Hình 3-16 Một cột don bức hình phóng to và biểu diễn trên đồ thi 38

XVII

Hình 3-17 Mặt nạ toán tử Sobel 3x3 theo hai chiỀu -.- 6 5s se sex: 39Hình 3-18 Minh họa xử lý ảnh với mặt nạ Sobel 3 xà +« «<< <2 39Hình 3-19 Minh họa ảnh đầu vào với các mặt na Sobel -s- «se: 40Hình 4-1 Một số cách lựa chọn và đối tượng thực sự trong vùng 2 4I

Hình 4-2 Ảnh nguồn S từ vùng lựa chọn ảnh nguồn ban đầu . 42

Hình 4-3 Anh Sobel kết hợp từ ảnh nguồn S - 5+ 2 2 2 +22 £2£z£+E+zzzczc+z 42Hình 4-4 Ảnh biên với một số ngưỡng giá trị tương ứng - 2 5s <<: 43Hình 4-5 Xác định vùng lựa chọn đối tượng thực sự dựa vào ảnh nguồn5 và ảnh biên với ngưỡng giá tri = Ï8 ẶẶ S3 43Hình 4-6 Sơ đồ tổng quát xử lý thêm đối tượng vào đoạn video 44

Hình 4-7 Lưu trữ tong quan hệ thống - - +2 2 2 +E+*+E£££+E+E£E£E£zEzEevrersrscee 46Hình 4-8 Xác định đường bao va vùng lựa chọn trong ảnh nguôn - 48

Hình 4-9 So đồ lưu tat cả các điểm thuộc đường bao Ø( 5-5555: 49Hình 4-10 Minh họa hình chữ nhật K giới hạn vùng lựa chọn 50

Hình 4-11 Sơ đồ xác định hai vị trí M va N trong hình chữ nhật K 51

Hình 4-12 Gan matna = -2 cho các điểm năm ngoài vùng (() - 52

Hình 4-13 Di chuyén vùng Ø từ anh nguôn tới khung hình tại panel 54

Hình 4-14 So đồ tinh độ lớn gradient theo 2 hướng cho ảnh ngu6n S 58

Hình 5-1 So đồ đánh giá chat lượng tong quát giữa hai anh A va B 64

Hình 5-2 Minh hoa khung hình thứ nhất trong video truek.avi - 65

Hình 5-3 Minh họa khung hình thứ nhất trong video duek.avi .- 65

Hình 5-4 Minh họa tập đối tượng để thực hiện kim tra - ¿5 56 sec ssx>ss4 66Hình 5-5 Minh hoa thêm đối tượng trong trường hop 5s: 67Hình 5-6 Minh hoa thêm đối tượng trong trường hop 2 . - 2s <<: 68Hình 5-7 Minh hoa thêm đối tượng trong trường hop 3 . -: 55s: 69Hình 5-8 Khung hình 1 thêm đối tượng trong trường hop 4 -: 70

Hình 5-9 Khung hình 2 thêm đối tượng trong trường hop 4 -: 7]

XVII

DANH MỤC BANGĐỀ mục TrangBang 3-1 Gan giá tri tính toán cho ma trận Á 55-555 << Ă + +eeeeks 37Bang 5-1 Độ do MSE va PSNR trong trường hợp Ì -.- + << <xeeess 68Bang 5-2 Độ do MSE va PSNR trong trường hợp 2 -. << eeks 69Bang 5-3 Độ do MSE va PSNR trong trường hợp 3 - se 69Bang 5-4 Độ do MSE va PSNR ở khung hình 1 trong trường hợp 4 70Bang 5-5 Độ do MSE va PSNR ở khung hình 2 trong trường hop 4 7]

XIX

CHƯƠNG 1 GIỚI THIỆU

1.1 Giới thiệu đề tài

Ngày nay, chúng ta dễ dàng tìm thấy các clip, video trên truyền hình, Internetđược tạo ra từ nhiều công cụ khác nhau Trong đó, nhiều cảnh quay trong video màchúng ta thường xem có thé không có thực hoặc không thể làm được Đề tạo ra cáccảnh quay này, người thực hiện cần phải quay nhiều cảnh khác nhau từ ngoại cảnhtới nội dung Sau khi thực hiện xong các phân đoạn cảnh quay cần thiết, người thựchiện hoàn chỉnh đoạn video này bang cách dùng nhiều thao tác khác nhau trong kỹxảo điện ảnh Trong đó, quá trình thực hiện thêm một số đối tượng vào trong đoạnvideo là một tác vụ chính của quá trình này Chính vì vậy, hiện nay kỹ thuật thêmđối tượng vào video là điều hết sức cần thiết trong luận văn để tạo ra video đạt chấtlượng tot nhăm đáp ứng nhu câu con người trong công việc, học tập và giải tri.

Hiện tại, thêm đối tượng vào một khung hình có nhiều hướng nghiên cứu khácnhau nhưng tập trung chủ yếu là hướng nghiên cứu dựa vào giải thuật Poisson vềchỉnh sửa hình ảnh Trong quá trình nghiên cứu luận văn đưa ra một mô hình đề

xuất phù hợp nhằm tạo ra các video có độ chân thật, chất lượng cao hơn.1.2 Nội dung đề tài

Nội dung đề tài là thêm một hay nhiều đối tượng đồ họa được tạo ra từ các phanmềm có san trong đồ hoa máy tính hoặc đối tượng đã có thông qua các thiết bị: máyquay phim, máy chụp hình, máy scan vào trong một hay nhiều khung hình Trongquá trình xử lý, đối tượng thêm vào cần đáp ứng độ chân thật của đoạn video tronghoàn cảnh đó; độ mịn của đối tượng và sự hòa hợp đối tượng vừa thêm vào ngữcảnh cũ; tạo bóng cho đối tượng được thêm dựa vào phân tích nguồn sáng của đốitượng khác có sẵn trong ngữ cảnh cũ của khung hình Quá trình xử lý thêm đốitượng vào đoạn video không làm thay đối video gốc về yếu tổ liên quan: kích thướckhung hình không thay đôi; dung lượng lưu trữ đoạn video hay khung hình thêm đốitượng thay đôi không đáng kế; giảm bớt độ nhiễu, độ mờ của khung hình; và tinh

GIỚI THIỆU Phương pháp nghiên cứuliên tục đối tượng được chèn trong các khung hình kế cận nhau trong đoạn video.Tiếp theo, dé xuất quá trình xây dựng phương pháp thêm đối tượng vào khung hình.Cuối cùng, so sánh giữa phương pháp đề xuất với phương pháp khác về chất lượngkhung hình được tạo ra khi thêm đối tượng.

1.3 Phương pháp nghiên cứu

Trong quá trình thêm đối tượng vào khung hình, ngoài quá trình tìm hiểu các tàiliệu liên quan và đơn giản hóa việc xử lý bằng phương pháp toán học, chúng tôimong muốn quá trình này cần đảm bảo được độ chân thật như đã giới thiệu trongphan Nội dung dé tai Vì vay, chúng tôi cần phải so sánh chất lượng của khung hìnhđược chèn vào Dé đánh giá chất lượng khung hình, chúng tôi sử dụng hai phươngpháp: Phương pháp định tính và Phương pháp định lượng Trong đó:

- Phương pháp định tinh sử dụng mắt quan sát: nhờ một hoặc nhiều chuyêngia trong lĩnh vực xử lý ảnh hay kỹ xảo điện ảnh để quan sát và đánh giákhách quan.

- Phuong pháp định lượng sử dụng hai độ đo phố biến dé đánh giá chất lượng:Tỷ lệ tín hiệu đỉnh trên nhiễu và Trung bình bình phương sai lỗi dựa vàokhung hình trước và sau khi chèn đối tượng vào So sánh mỗi độ đo với nhauđể đánh giá chất lượng khung hình được tạo ra khi thêm đối tượng mới

1.4 Giới hạn đề tài

Đề dam bảo nội dung dé tài theo đúng yêu cau, chúng tôi tập trung nghiên cứumột số phương pháp chèn đối tượng vào khung hình Sau đó, chúng tôi so sánh cácphương pháp này để đưa ra phương pháp đề xuất thu được kết quả tốt hơn Địnhdạng đoạn video sử dụng để thêm đối tượng là AVI - định dạng lưu trữ video phổbiến của hãng phan mềm Microsoft Các đối tượng thêm vào trong đoạn video làcác đôi tượng có trong thực tê: logo, các họa tiệt hoa văn, hình vẽ, ảnh chụp, v.v.

GIỚI THIỆU Cấu trúc trình bày luận văn

1.5 Cấu trúc trình bày luận văn

Dựa trên phần nội dung, phương pháp nghiên cứu và giới hạn đề tài, phần trìnhbày luận văn gồm 6 chương Trong đó:

- _ Chương 1 dùng để giới thiệu tổng quan dé tài.- _ Chương 2 trình bày cơ sở lý thuyết liên quan đến đề tài, bao gồm: đặc trưng

về video và định dang tập tin AVI; định nghĩa về các đối tượng đơn giản;đặc điểm ảnh màu RGB; và phương pháp đánh giá chất lượng khung hìnhkhi thêm đối tượng

- _ Chương 3 trình bày các nghiên cứu liên quan đến quá trình thực hiện dé tài,bao gồm: phương pháp Poisson trong quá trình chỉnh sửa ảnh và kỹ thuật xửlý đơn giản hóa phương trình tính toán Laplace; kỹ thuật tô màu một bứchình; phương pháp cải thiện màu sắc trong chỉnh sửa ảnh; và kỹ thuật nhậndạng biên Sobel được sử dụng như là một yếu tố để cải thiện phương phápPoisson trong phương pháp dé xuất

- _ Chương 4 đưa ra giải thuật đề xuất sử dụng kỹ thuật nhận dạng biên Sobel,trình bày và hiện thực chỉ tiết 4 giai đoạn trong quá trình thực hiện thêm đốitượng vào khung hình: Tiên xử lý dit liệu: Xác định và di chuyển vùng lựachọn (còn gọi là vùng nguồn); Xứ lý thêm doi tượng vào khung hình; và Lưutrữ khung hình.

- _ Chương 5 hiện thực đánh giá chất lượng khung hình theo Phuong pháp địnhlượng; thực hiện thí nghiệm theo một số yếu tố đưa ra; nhận xét và so sánhgiữa các phương pháp đã thực hiện trong quá trình xử lý thêm đối tượng.- - Chương 6 dùng để tóm tắt các kết quả dat được, đóng góp của luận văn, và

hướng phát triển tiếp theo cho đề tài.Cuối cùng, phần Tai /iệu tham khảo ghi nhận các công trình liên quan trong quátrình nghiên cứu và hiện thực đê tài luận văn.

CHƯƠNG 2 CƠ SỞ LÝ THUYETTrong chương nay, chúng tôi trình bay lý thuyết liên quan: các đặc trưng và mộtvai định dạng pho bién trong video; cau trúc dữ liệu, danh sách, phụ đề và chỉ phítrong tập tin AVI; định nghĩa về đường gấp khúc, văn bản, vùng tô và ảnh ma trậnđiểm trong các đối tượng đơn giản; đặc điểm, cách phân giải và tổng hợp màu từmột điểm trong ảnh màu RGB; đánh giá chất lượng khung hình theo Ty /é tin hiệuđỉnh trên nhiễu và Trung bình bình phương sai lỗi.

2.1 Đặc trưng video

Video [1] là một kỹ thuật điện tử dung để chụp, ghi chép, xử lý, lưu trữ, chuyểnđối và tái xây dựng thành một chuỗi hình anh, âm thanh cho các cảnh chuyển động.2.1.1 Số khung hình trong một giây

Số lượng hình ảnh xuất hiện trong một đơn vi thời gian cua video gọi là ty lệkhung hình (frame rate) [1], có giá tri từ 6 đến 120 hình/ giây Tỷ lệ khung hình tôithiểu dé đạt được ảo giác một hình ảnh chuyển động là khoảng 15 hình mỗi giây

Các chuẩn khung hình hiện nay bao gồm: PAL (Phase Alternative Line) vàSECAM (Sequential Color with Memory) đều có tỷ lệ là 25 hinh/gidy; và NTSC(National Television System Committee) có tỷ lệ là 29.97 hình/giây.

2.1.2 Ty lệ khung hìnhTỷ lệ khung hình (aspect ratio) [1] mô tả kích thước cua màn hình video và cácthành phan liên quan tới video, có thé mô tả liên quan kích thước giữa chiều rộng vàchiều cao của khung hình Tỷ lệ trong khung hình truyền thống thường là 4:3, còntý lệ 16:9 được sử dụng trong màn hình độ nét cao.

2.1.3 Không gian màu sắc và số bit cho một điểm ảnhTên màu sac cơ ban (color model name) [1] mô tả các màu sac có trong video.SO màu sac khác nhau có thê đại diện bởi một diém ảnh phụ thuộc vào sô lượng bittrên một điểm.

CƠ SỞ LÝ THUYET Đặc trưng videoKhông gian màu pho biến hiện nay là RGB (Red — Green — Blue) sử dụng bathành phan màu co bản tổ hop với nhau theo một giá tri nhất định để tạo nên cácmau khác.

2.1.4 Chất lượng videoChất lượng video [1] được do bang ty /é số lượng nhiễu trên đỉnh hoặc dựa trêncác ý kiến chủ quan của chuyên gia

Chất lượng video trong một hệ thống có thể đánh giá theo một số cách như sau:- Chon các chuỗi video dé kiểm tra

- Chon các thông số cần thiết để đánh giá.- Chon một phương pháp kiểm tra của chuyên gia dé đánh giá.- Mi hội dong chuyên gia (ít nhất là 15 người) dé đánh giá chất lượng video.- Tinh điểm trung bình cho mỗi thiết lập được đánh giá dựa trên sự xếp hang

của môi chuyên gia.2.1.5 Một số định dạng video

Một số định dạng video phố biến gồm: 3GP, ASF, RM, WMV, MP4 va AVI.a) Dinh dạng 3GP (3GPP Multimedia File)

Dinh dạng 3GP là định dang video phat triển bởi dự án 3rd Generation ship Các tiêu chuẩn 3GPP và 3GPP2 sử dụng cho mục đích sáng tạo, phân phối vàphát lại các tập tin đa phương tiện trên mạng không dây 3G tốc độ cao Dinh dạngnày được sử dụng pho biến trên điện thoại có hỗ trợ quay phim Chuan MPEG-4 sửdụng trong 3GP được bắt nguồn từ định dang QuickTime của hãng Apple

Partner-b) Định dạng ASF (Advanced Systems Format File)Dinh dang ASF là định dạng được dùng để truyền tải các tập tin đa phương tiệnchứa văn ban, đồ hoa, âm thanh, video và hoạt hình Đây là định dạng được pháttriển bởi hãng Microsoft File ASF chỉ đặc tả cau trúc của file audio hay âm thanhđược truyền tải mà không chỉ rõ phương pháp mã hóa

CƠ SỞ LÝ THUYET Đặc trưng tập tin AVIc) Định dang RM (Real Media File)

Định dang RM là định dạng được phat triển bởi công ty RealNetworks RealMedia chứa cả thông tin về video (RealVideo) và âm thanh (RealAudio) RM đượcdùng để truyền tải các tập tin đa phương tiện thông qua internet

d) Định dạng WMV (Windows Media Video)Định dang WMV là một định dang file thường dùng lưu trữ video WMV chứavideo được mã hóa theo WMV codec và âm thanh được mã hóa theo WindowsMedia Audio codec.

e) Định dạng MP4 (MPEG-4 Video File)MP4 là một tiêu chuẩn định dang video được phat triển bởi công ty MovingPicture Experts MP4 sử dụng trên nhiều điện thoại và các thiết bị chơi video (còngọi là thiết bị chơi MP4) Định dạng MPEG-4 sử dụng một định dạng nén riêng biệtcho video và âm thanh Trong đó: video được nén với kiểu mã hóa video MPEG-4,còn âm thanh được nén theo kiểu mã hóa AAC

f) Định dang AVI (Audio Video Interleave File)Dinh dang AVI cũng là định dạng được phat triển bởi hãng Microsoft, chứa dữliệu được mã hóa theo nhiều loại codec khác nhau Đây là định dạng video được sửdụng để thực hiện thêm đối tượng vào video trong luận văn này Đặc trưng địnhdạng AVI được trình bày chi tiết trong phan 2.2

2.2 Đặc trưng tập tin AVI

2.2.1 Cau trúc dữ liệu cơ bảnCâu trúc dữ liệu cơ bản [2] gdm hai yéu t6 chinh: Chunk va List.a) Chunk

Cau trúc Chunk được định nghĩa trong ngôn ngữ C:

CƠ SỞ LÝ THUYET Đặc trưng tập tin AVI

typedef struct {DWORD dwFourCCDWORD dwSizeBYTE data[dwSize]//chứa phụ dé hoặc dt liệu video/âm thanh} Chunk;

b) ListCấu trúc List được định nghĩa trong ngôn ngữ C:

typedef struct {DWORD dwListDWORD dwSize

BYTE data[dwSize-4]//chta List va Chunk

} List;

Mỗi chunk chứa dữ liệu video, âm thanh hoặc phụ dé dùng dwFourCC có haichữ số hệ thập lục phân dùng để xác định số dòng và hai chữ cái xác định loại dữliệu (de = video, wb = audio và tx = text) Các giá trị dwFourCC và dwSize có cautrúc tương đối giống nhau Trong đó: dwFourCC mô ta các loại dwSize chứa kíchthước của chunk hoặc list Giá trị dwList có thé là 'RIFF' ('RIFF-List') hoặc 'LIST".2.2.2 Danh sách movi

Mỗi chunk [2] được xác định:- wb: chunk chứa âm thanh- dec: chunk chứa video- tx: chunk chứa phụ đề- 1x: chỉ mục tiêu chuân

Mỗi danh sách Movi [2] có chứa dir liệu video, âm thanh, phụ dé và chỉ mục:

CƠ SỞ LÝ THUYET Đặc trưng tập tin AVI

LIST

LIST

LIST

1x011x02LIST movi

FEC

OlwbO2wbO0dc

FEC

OlwbO2wb

FEC

2.2.3 Phụ dé trong AVIPhu dé [2] dung dé giải thích cách lưu trữ trong tập tin AVI Vi vay, VSFilter sửdụng để tải và lựa chọn tựa đề

Mỗi dòng trong phụ đề được lưu trữ dưới dạng mot chunk Do đó, chunk chứadữ liệu phụ đề thường lưu trữ dưới các tập tin có định dang SRT hoặc SSA Phan dữliệu phụ dé được xác định trong ngôn ngữ C:

char[4];

BYTEWORD

char

WORD

char

//0x00;

"GAB2'

0x02;DWORD dwSize name; // chiều dai chuỗi tên tinh bằng byte

name [dwSize name];// dòng tựa đề được mã hóa bằng UTF-160x04;

DWORD dwSize;//data[dwSize];// dữ liệu tập tin SRT/SSA

// unicode

kich thuéc tap tin SRT/SSA

CƠ SỞ LÝ THUYET Đặc trưng tập tin AVIChuỗi chunk phụ đề [2] được định nghĩa trong ngôn ngữ C:

typedef

FOURCCFOURCCDWORDWORDWORDDWORDDWORDDWORDDWORDDWORDDWORDDWORDDWORDRECT

struct {

fecType;// "txts"fecHandler;// 00 00 00 00

dwFlags;wPriority;

wLanguage;

dwTInitialFrames;dwScale;

dwRate;// dwRate/dwScale: thời

dwStart;dwLength;dwSuggestedBufferSize;dwQuality;

CƠ SỞ LÝ THUYET Các đối tượng đơn giảnNếu giá tri dữ liệu thứ m trong chunk có n giá tri và đur(chunk[¡]) là thời gianthực hiện chunk thứ 1 thì thời gian phan TáC (tearbage):

n-1 m

tgarbage = » sa (dur(chunk[i])) + rUp (<etoaty) (2-2)

L

b) Hằng số BitrateNếu chuỗi bitrate là một hăng số thì thời gian phan rác [2] tính theo công thức:

tgarbage = lengthgarbage X data_rate (2-3)

2.2.4 Chi phi trong AVIMô tả cách dự đoán phan chi phí của một file AVI trước khi muxing Muxing làquá trình các thành phan riêng biệt cua video hoặc dòng được nối lại với nhau thànhmột tập tin Chi phí AVI [2] phụ thuộc vào số đoạn chunk trong tập tin đó Chị phícho môi chunk gôm:

- _ 8 byte chunk phụ dé (dùng cho các kiểu codec trong định dạng tập tin avi).- 16 byte ghi lại chỉ số Legacy

- 8 byte ghi lại chỉ số tiêu chuẩn.Vì vậy, mỗi chunk sẽ tốn một chỉ phí lưu trữ lần lượt là 16, 24 hoặc 32 byte

2.3 Các đối tượng đơn giản

Trong thế giới thực, chúng ta thường thấy bất kì một hình ảnh, một bức tranh,một bản thiết kế, v.v cũng được cấu trúc từ tập các đối tượng đơn giản hơn để tạo

ra nó Các đối tượng đơn giản Hình 2-1 gồm: điểm (a), đường thăng (b), hình chữ

nhật (c), đa giác (d) và hình tròn (e).Các đối tượng đồ hoa cơ bản [3] chia thành 4 loại chính:- _ Đường gấp khúc (polyline)

- Van ban (text)- Vung to (filled region)- Anh ma tran diém hay anh raster (raster image)

10

CƠ SỞ LÝ THUYET Các đối tượng đơn giản

Ls

a) Diém b) Đường thang c) Hình chữ nhật

d) Đa giác e) Hình trònHình 2-1 Minh họa các đối tượng đơn giản

2.3.1 Đường gấp khúcĐường gấp khúc [3| là một tập các đoạn thăng được nối lại với nhau và đượcdùng để mô tả đường cong

⁄

F Ne so - S5 Sf

a) Doan thang b) Một số cách nối trong đường gấp khúc

SRE S

c) Một so vi dụ về da giác có sô đỉnh, màu tô khác

nhau giữa đường biên và mâu tôHình 2-2 Minh họa đoạn thang (a), một số cách noi đường gấp khúc

tai các giao điểm (b) và da giác (c)

Đường gap khúc don giản nhất là một đoạn thăng Một đoạn thăng được xác

định bởi hai điểm đầu mút cho trước của nó Trường hợp đặc biệt là khi đoạn thăng

II

CƠ SỞ LÝ THUYET Các đôi tượng đơn giảnco lại thành một điêm va được vẽ như là một điêm Khi đỉnh dau và đỉnh cuôiđường gấp khúc được nối với nhau bằng một đoạn thăng thì trở thành đa giác.

Các thuộc tính của đường gấp khúc bao gồm: màu sắc, độ dày, kiểu đường (liềnnét, hoặc nét đứt) và cách nối giữa hai cạnh theo nhiều cách khác nhau (Hình 2-2).2.3.2 Van ban

Một số loại màn hình [3] có hai chế độ hién thi (display mode) khác nhau: chếđộ văn ban (text mode) và chế độ đồ hoa (graphic mode) Chế độ văn bản cho phépngười dùng nhập, xuất ký tự đơn giản để điều khiến hệ điều hành hoặc soạn thảo mãnguồn chương trình Còn chế độ đồ họa thường có nhiều bộ ký tự có hình dạng đadạng và phong phú so với chế độ van bản và ky tự có thé hiển thị ở bat kỳ vị trí nào

trên màn hình Các thuộc tính của văn bản gồm: phông chữ, màu sắc, kích thước,

hướng và khoảng cách giữa các ký tự trong chuỗi (Hình 2-3)

Hình 2-3 Một số phông chữ với các thuộc tinh trong văn ban.2.3.3 Vùng tô

Một vùng tô [3] gồm: đường biên và vùng bên trong Đường biên là một đườngkhép kín đa giác Hình 2-2(c) Các thuộc tính của vùng tô gồm:

- _ Thuộc tinh đường biên giỗng thuộc tính đường gấp khúc.- _ Thuộc tính cua ving bên trong gồm màu tô và mau tô.

12

CƠ SỞ LÝ THUYET Ảnh màu RGB2.3.4 Anh ma trận điển

Ảnh ma trận điểm (còn gọi là ảnh raster) [3| tạo ra bởi nhiều ô với các mức xámkhác nhau Mỗi ô gọi là một điểm (pixel) Ảnh raster lưu trữ trong máy tính dướidạng mảng các giá trị hình chữ nhật với số hàng và số cột tương ứng Hình 2-4 biểudiễn ảnh raster băng một mảng 8x7 cho ô được đánh dấu trong hình

a) Ảnh raster b) Mang 8x7Hình 2-4 Mang 87 su dung cho mot 6 trong anh raster.

2.4 Anh màu RGB

Anh mau RGB [4] dùng không gian màu RGB gồm ba thành phan màu co banđược tô hợp với nhau theo một tỷ lệ nhất định để tạo nên các màu khác Không gianmau RGB được sử dung rộng rãi trong việc truyền nhận, trình diễn, và lưu trữ màusắc trên cả thiết bị analog (ví dụ: dụng cu v6 truyền hình) và thiết bị kỹ thuật số (vidụ: máy tính, máy chụp hình kỹ thuật số, máy scan) Chính vì vay, các chương trìnhxử lý ảnh và đồ họa dùng không gian RGB biểu diễn màu sắc trong ảnh màu Ngaytrong thư viện Java Imaging API cũng sử dụng tiêu chuẩn RGB để biểu diễn mau

Mỗi điểm trong ảnh màu RGB [4] trong ngôn ngữ Java được biểu diễn bangmột chuỗi 32-bit Trong Hình 2-5 [4], mỗi thành phan mau RGB su dung 8-bit biéudiễn (tương ứng miễn giá trị từ 0 tới 255): R là màu đỏ (tương ứng vị tri 16 đến 23);G là màu xanh lá (§ đến 15); và B là màu xanh lam (0 đến 7) Tám bit còn lại (24đến 31) biểu diễn thành phan transparent (còn gọi là thành phan alpha - ø)

13

CƠ SỞ LÝ THUYET Ảnh màu RGB

Hình 2-6 [4] là cách phân giải giá trị thành phần màu đỏ từ một điểm pColortrong ảnh màu RGB Giá trị thành phần màu đỏ (tương ứng R) tại pColor sử dụng& và M = 0x££0000 Trong M, các bit thuộc R gan giá tri 1, các bit còn lại gan giátrị 0 Sau đó, dịch chuyến (pColor & M) tuần tự sang phải 16 bit dé thu được giá trịthành phan mau đỏ từ pColor

14

CƠ SỞ LÝ THUYET Đánh giá chất lượng khung hình2.4.2 Tổng hợp màu từ ba thành phan màu tại một điểm

Phép dich bit sang trái dùng bit mặt nạ M = 0x££ và phép toán OR (I) nhằmtong hop màu tại một điểm từ ba thành phan màu cơ bản Hình 2-7 là phép chuyểnbit sang trai 16 vi trí cho thành phan màu đỏ Red tại một điểm Tương tự, phép dịchbit sang trái 8 vị trí cho thành phần màu xanh lá Green và không dịch bit cho thànhphan màu xanh lam Blue tai một điểm Sau khi có kết quả dịch trái ba thành phầnmàu cơ bản tại một điểm, | sử dụng tong hop mau tai diém pColor:

pColor = ((Red & M)<<16) | ((Green & M) < 8) | (Blue &M) (2-4)

Iiilliliijiijj¡j 1.5 TrrrrrrrirrrrrirrTr.TTTTTTLTTTTLTTLLTTLLLTMLE

Hình 2-7 Phép dịch sang trái 16 bit thành phan màu do tại một điểm

2.5 Danh giá chất lượng khung hình

Trong Phương pháp định lượng, chúng tôi sử dụng hai độ đo: Trung bình bìnhphương sai lỗi và Tỷ lệ tín hiệu đỉnh trên nhiễu dé đánh giá chất lượng của khung

hình khi thêm đối tượng mới.2.5.1 Trung bình bình phương sai lỗi

Trung bình bình phương sai /õi (Mean Square Error — MSE) [5], [6] dùng tínhsự khác biệt trung bình giữa hình anh tham chiếu (reference image) và hình ảnhchỉnh sửa (distorted image) Trong quá trình thêm đối tượng: hình ảnh tham chiếutương ứng với ảnh đầu vào khung hình; và hình ảnh chỉnh sửa tương ứng khung

15

CƠ SỞ LÝ THUYET Đánh giá chất lượng khung hìnhhình đã thêm đối tượng MSE tính toán giữa các điểm với nhau băng cách thêm vàosự khác biệt bình phương tat cả điểm ảnh và phân chia bởi tong số điểm đếm được.

Cho hai ảnh cùng kích thước (MxN) thực hiện độ đo MSE để đánh giá chất

lượng khung hình, gồm: ảnh đầu vào A = (An, Ao, Amn} và ảnh đầu ra B =

4Bi¡., Bay, Bun} Công thức (2-5) tính MSE cho hai anh A và B:

N M

1MSE (A,B) = Wx —», » (Ay — By) (2-5)

j=l¡=1

2.5.2 Tỷ lệ tín hiệu đỉnh trên nhiễuTy lệ tín hiệu đỉnh trên nhiễu (Peak Si gnal to Noise Ratio — PSNR) [5], [6] la tysố giữa tin hiệu tham khảo (reference signal) và tin hiệu chỉnh sửa (distortionsignal) trong một ảnh, thường gọi là decibel (dB) Nếu giá tri PSNR càng cao thìảnh chỉnh sửa giống ảnh gốc, nhưng không phải lúc nào giá trị PSNR cao là kết quảchính xác Tuy nhiên, PSNR là độ đo chất lượng phé biến do dễ dàng tính toán

Tương tự độ đo MSE, cho hai ảnh cùng kích thước để tính độ đo PSNR nhămđánh giá chất lượng khung hình Công thức (2-6) tính PSNR cho hai ảnh A và B:

voi MAX la gia tri điểm lớn nhất có thé trong bức hình Chăng hạn, một điểm sửdụng 8 bit biểu diễn thi MAX = 2°-1 = 255

Đối với anh màu chứa ba thành phần màu cơ ban tại một điểm, quá trình phângiải nó thành mỗi thành phần màu riêng biệt đã trình bày ở phần 2.4.1 Cách tínhPSNR(A, B) giữa hai ảnh mau A và B tương tự công thức (2-6) nhưng MSE(A, B)là tổng giá trị chênh lệch khác biệt bình phương của mỗi thành phần màu chia đềucho kích thước bức hình (MxN) và ba thành phần màu co bản như công thức (2-7)

CƠ SỞ LÝ THUYET Đánh giá chất lượng khung hìnhvới SDC(A, B),¡ là tong khác biệt bình phương tất cả điểm trong ảnh màu RGB theotừng thành phần màu cơ bản tương ứng:

CHUONG 3 CONG TRÌNH NGHIÊN CỨU LIEN QUAN

Trong chương nay, chung tôi trình bay các công trình nghiên cứu liên quan, baogôm: giải quyết hướng nội suy, khả năng dán liền mạch đối tượng và chỉnh sửavùng lựa chọn trong bức hình theo Phương pháp Poisson; các bước phân tích màugiải thuật Examplar theo Kỹ thudt tô màu hình; xem xét sự ảnh hưởng màu sắc khácnhau giảm thiểu sự không thống nhất thông tin trong bức hình theo Phương phápcải thiện màu sắc; giải quyết phương trình Poisson theo điều kiện đường baoDirichlet trong Tinh toán tử Laplace; và Kỹ thuật nhận dạng biên đỗi tượng trongbức hình dùng mặt nạ toán tử Sobel 3x3.

3.1 Phương pháp Poisson

3.1.1 Hướng noi suya) Huong noi suy

1£ A —>

-„

†

`"tí“` -

† » 4 ¬.Ỗied

Hình 3-1 Minh hoa các ky hiệu hướng ndi suy.Dé mô ta chi tiết van dé hướng nội suy trong bức hình, Perez e al [7] đã dùngmột trường vecto vô hướng giải quyết riêng cho từng thành phan mau Hình 3-1 [7]mô tả các ký hiệu được sử dụng trong hướng noi suy:

- _ Tập S là tập con đóng để xác định miền ảnh R’

- Tap /2 là tập con đóng của S năm phía trong đường bao ô0.- Lay ƒ là hàm đích xác định phía ngoài (): f* = $ — (0.- Lay ƒ là hàm nội suy xác định phía trong 2 (vùng màu vàng đậm): f = 2.- Lay v là trường vecto xác định qua 0

- Lay gla hàm nguồn

18

CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Phương pháp PoissonNội suy đơn giản f từ f* qua vùng 2 để giải quyết tối thiêu van dé:

mịn |[LW/lP với flan = Flan G-1)

ma Af = 22T ay? là oán tu Laplace liên quan điều kiện đường bao Dirichlet [7].

Hàm tối thiểu sự khác biệt giữa gradient Vf và hướng của trường vectơ v quavùng 2 được mở rộng từ hàm tối thiểu (3-1) thành:

mịn || IWƒ —v|? với ƒlsa= flan 4-3)

10)

chứa cách giải quyết phương trình Poisson với điều kiện đường bao Dirichlet:

Af =divv trên 2 với flag = ƒ”lao (3-4)

si divv = 4 + & là phân kỳ của v = (uy)

với divv = 57+ 5° là phân ky cua v = (u,v).

b) Gidi quyét roi rac PoissonDé giải quyết sự rời rac trong bức hình, có thé rời rac một cách tong quát dướidạng lưới các điểm (grid pixel) Không mất tinh tổng quát, Perez et al [7] tiếp tụcgiữ lại các ký hiệu liên quan tới đối tượng va sự rời rac trong Hình 3-1 Lúc đó, Š vàQ trở thành một tập điểm hữu hạn được xác định trong tập lưới vô hạn Tap S bâygiờ có thé là tập bao gồm tất cả các điểm trong bức hình hoặc là một tập con của nó.Với mỗi điểm P trong tập S, lay N, là tap 4 điểm liên thông liền kề với nó trongtập S trên miền ảnh R” Hình 3-2 minh họa: điểm P1 có 4 điểm liên thông liền kề(N1, N2, N3 và N4); các điểm P2 và P3 năm trên biên tập S có số điểm liên thôngliền kề nhỏ hon 4 Lay f, là giá trị ƒ tai vị trí điểm p Lay một cặp điểm (p, q} với q

19

CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Phương pháp PoissonEN, thì tập đường bao 2 sẽ là: 02 = {p € S\Q:N, N 2 # 0} Tác vụ tính toán tậpmật độ flo = (fp € 0}.

min » Ứp — fa — Ypq) với fp = fo, Vp € 00 (3-5)

qENyN 0 qENpn 00, qENp

Khi Q chứa các điểm năm trên biên của S (trường hợp 2 mở rộng tới các cạnhtrong lưới các điểm) thì điểm P có số điểm liên thông liên ké IN,| <4 Lưu ý răng,các điểm p nằm hoàn toàn trong vùng (N, CQ) sẽ không có đường biên vaphương trình (3-7) trở thành:

INolf — » fq = » Ynq C8)

qENy qENy

20

CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Phương pháp PoissonHệ thống phương trình cho tat cả điểm p € 2 trong phương trình (3-7) là hệthống phương trình tuyến tính với các trọng số có tính chất đối xứng Giá trị phânbố thưa do chỉ quan tâm tới 4 điểm liên thông liên kể với p Do đó, để giải quyết batkì hình dạng nào của đường bao Ø0, Perez et al [7| su dụng một trong hai phươngpháp lặp phố biến (Gauss-Seidel và V-cycle multigrid) giải quyết hệ thống phươngtrình này Cả hai phương pháp lặp này hội tụ nhanh với kích thước bức hình chỉnhsửa vừa phải Chang hạn, với vùng 2 gồm 60.000 điểm thì thời gian thực hiện là 0,4giây để giải quyết hệ phương trình này trên máy tính Pentium 4.

3.1.2 Dan liền mạcha) Importing gradients

Chọn lựa co bản trường của hướng vecto v là một trường gradient lay trực tiếptừ ảnh nguồn ø Lúc đó, thực hiện nội suy dưới hướng:

Công cu Dán liên mạch [7] đảm bảo tính phù hợp khi tuân thủ đường bao giữaảnh nguồn chứa đối tượng và ảnh đích cần được thêm đối tượng Công cụ này cóthé dùng dé che dau các đặc trưng không mong muốn của bức hình (Hình 3-3 [7])hay chèn một đối tượng mới vào trong một bức hình (Hình 3-4) có sự dễ dàng vàlinh hoạt hon so với quá trình dán thông thường.

Ảnh kết quả trong Hình 3-3 thực hiện dán liền mạch thông thường nhăm che lấpđặc trưng không mong muốn (các vùng màu xanh lá) dựa vào các vùng tương tự(các mẫu dán trong các vùng màu đỏ Hình 3-3b) trong ảnh ban đầu để dán

21

CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Phương pháp Poisson

a) Ảnh ban đầu b) Các mẫu dán c) Ảnh kết quảHình 3-3 Che đậy các đặc trưng không mong muốn dua trên các vùng

tương tự trong ảnh ban dau

a) Ảnh nguồn c) Lua chon

22

CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Phương pháp Poissonb) Mixing gradients

Với công cụ Ddn liền mạch [7] thì các điểm trong vùng không tìm thay anh dichf Tuy nhiên, một số trường hợp can kết hợp thuộc tinh ƒ với ảnh gốc g như là chèn

vùng lựa chọn chứa lỗ hay phân trong suốt ảnh nền chứa đối tượng (Hình 3-5).^X=&

4

lv\_

` 1

E N

ý ⁄\ _

z

_

Hình 3-5 Chèn vùng lựa chọn chứa lỗ

Hình 3-5 chèn vùng lựa chọn chứa lỗ trong công thức ảnh gốc Az = = (có chứa

lỗ trong A, e va a) thêm vao anh đích có một số họa tiết đơn giản va áp dụng vàoảnh đích mà không cần thực hiện những tác vụ lựa chọn phức tạp Một phươngpháp tiếp cận có thể được dùng là xác định sự kết hợp tuyến tính giữa hướng củatrường vecto v trong ảnh nguồn và ảnh đích

3.1.3 Chính sửa vùng lựa chona) Texture flattening

Anh gradient V f* truyén qua mot lưới loc dé gitt lai cac dac trung nôi bật nhất:

23

CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Phương pháp Poisson

a) Ảnh bên trái b) Ảnh bên phải

Hình 3-6 Texture flattening.b) Thay đổi cường độ sáng cục bộ

Hình 3-7 áp dụng giải pháp không tuyến tính tới trường gradient trong vùngA trước khi kết hợp giải pháp Poisson nhằm tăng cường độ sáng của một ảnh

c) Thay đổi mau sac cục bộHình 3-8 minh họa cách chuyên màu sac cục bộ nên đường trong ảnh bên tráisang màu xanh dương nhạt bên phải.

24

CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Kỹ thuật tô màu hình

Hình 3-8 Thay doi mau sắc cục bộ.d) Lat lién mach

Hình 3-9 thiết lập giá tri chu kì đường bao trên đường biên của hình chữ nhậtmàu gạch xiên trước khi kết hợp với giải pháp Poisson

Hình 3-9 Lát liền mạch

3.2 Kỹ thuật tô màu hình

Trong thực té, chung ta cần một hệ thống khôi phục lại bức hình, tranh nghệthuật, bản thiết kế bị hỏng do nhiều nguyên nhân khác nhau: hỏng do thời tiết, chephủ bởi văn ban, đối tượng đồ họa Hệ thống này có khả năng nâng cao chất lượngbức hình hiện tại băng kỹ thuật tô màu bức hình mà không biết được ảnh gốc

Kỹ thuát tô màu hình (Inpainting) [8|-[11] (hay gọi là kỹ thuật nội suy bức hìnhhoặc video) dùng dé tái xây dựng một vài phan bi mat hay chất lượng trong bứchình hoặc video Quá trình phục hồi đảm nhiệm bởi nhiều chuyên gia kinh nghiệmcho các bức tranh đáng giá dựa trên nên tảng:

- _ Xem xét bức hình tổng thé trước khi khôi phục lại các vùng hư hỏng nhằmkhôi phục toàn vẹn tác phẩm

25

CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Kỹ thuật tô màu hình- Cấu trúc xung quanh chỗ trống hoặc lỗ hỏng được giả định xem xét Cácđường cong năm trên đường bao chỗ trống tiếp tục kéo dải cùng với mau sắcphù hợp để tô màu.

- - Trong thé giới số, kỹ thuật tô màu hình dé cập quá trình dùng các giải thuậtphức tạp [9], [10] thay thế các phan bị mat hay bi hư trong bức hình

Hình 3-10 [8] minh hoa ảnh phục hồi (b) dựa trên kỹ thuật tô màu hình cho ảnhsốc (a) có vết xước ngang bức hình hay vệt 6 vàng trên trán chang trai thành mộtbức hình đạt chất lượng tốt hơn

Hình 3-10 Quá trình phục hôi búc hình sử dụng kỹ thuật tô màu.Hình 3-11 mô tả các ký hiệu sử dụng trong giải thuật Exemplar [9]:- Tap Š là tập xác định miền ảnh R’

- Tap 2 là tập cần được phục hỏi trong tập S (vùng màu vàng đậm).- Tap © là tập vùng nguồn S bằng hiệu số giữa tập S trừ đi tap 2, tương ứng

với hai vùng: xanh lá nhạt và màu trang.- _ Đường biên AM phân vùng phục hồi 2 với vùng nguồn ® có trong bức hình.- _p là một điểm nằm trên đường bao ô0

- W, là một mảnh vá với trung tâm là điểm p.- Np là các mảnh window liền kề với mảnh Wp.- V, là vectơ don vi trực giao (unit vector orthogonal) tại p.

- VS5 la toan tu truc giao (the orthogonal operator) tai p

26