Luận văn thạc sĩ Công nghệ thông tin: Ứng dụng dự đoán mức độ tổn thương của phổi do Covid-19 từ hình ảnh X-Quang sử dụng mô hình mạng Nơ-ron phức hợp (CNN)

Hình 3.3: Số lượng các mẫu dữ liệu trong Dataset COVIDGR Hình 3.4: Tính toán điểm Đánh giá CXR về Phù phối bằng PP RALE Hình 3.5: Ví dụ về cách tính điểm mức độ nghiêm trọng khi chụp CXR

ĐẠI HỌC QUÓC GIA THÀNH PHÓ HÒ CHÍ MINH

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THONG TIN

TRAN THỊ VIỆT TRINH

ỨNG DỤNG DỰ ĐOÁN MỨC ĐỘ TÓN THƯƠNG CỦA

PHOI DO COVID-19 TỪ HÌNH ANH X-QUANG SỬ

LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN

Mã số: 8480201

NGƯỜI HƯỚNG DẪN KHOA HỌC

TS NGUYÊN TÁT BẢO THIỆN

TP HO CHÍ MINH - NĂM 2023

MỤC LỤC 00920992225 SGAẠAR:,),.H,H,H H, 2

M.0:8/098:))/:09).07 4 BANG QUY UGC VIET TAT

CHƯƠNG 1 TONG QUAN.

1.1 Dat van đề 2c 222 v22 n2 6

1.2 _ Hiện trạng ST 6 1.3 Mục tiêu và phạm vi

I6hnng ao 8

IS ôn an 9 1.4 Đóng góp của LV ccccs vn 0

15 Cấu trúc củal 2 gốt À I

CHƯƠNG 2 CO SỞ LÝ THUYẾT tri 2

2.1 Bệnh Covid-]O tS ThS n1 12211111112 010111111111 key 2 2.2 Bài toán phân loại đa lớp - ¿5c 5c+S++xesererterrrrerrreerree 2 2.3 _ Trích chọn đặc trưng -c-S«SStStưn 3

2.4 Hướng tiếp cận dựa trên CNN -2++22cvvcertrrvrrrrrrrrrrrrrrer 4

CHƯƠNG 3 BỘ DỮ LIỆU VA HỆ THONG DIEM SỐ -crrrrr 6

3.1 Dataset Brixia và điểm Brixia :c22cvccccccrvrrrrrrrvrrrrrrer 6

3.2 DatasetCOVIDGR và điểm RALE -ccrereeeeeeeerrer 9 3.3 Dataset đề xuất

3.4 Tăng cường dữ liệu -:- St 25

CHƯƠNG 4 PHƯƠNG PHÁP DUNG CHO BÀI TOÁN -. -2+ 29

4.1 Kiến trúc mạng CNN -2222+cc222EEECEEE2EEEtEEE11CEEE.ccrrrrvee 29 4.1.1 Kiến trúc hệ thống -¿ ©22+2+222EEEEE2EEEEtEEEEEEEEEEErrrrrrree 30 4.1⁄2 Kiến trúc VGGI6 ccccccvctoiittitttttttttrtttrrtiiiiiirrrree 31

4.13 Kiến trúc RegNet0Y40 -c2cctt22221221121111111111111 + 32

CHƯƠNG 5 KET QUA THU NGHIỆM 2: ©2+++2+++vvExertrxrrerrxrerrxee 39

5.1 _ Đánh giá hiệu suất -c-s222ckrretrittrtrrrrrrrrirrrrreree 39 5.2 Cross-validation

5.3.

CHƯƠNG 6.

6.1.

6.2 Hướng phat triÊn ¿St tên 50

TÀI LIEU THAM KHẢO .-2222¿22£2222222222222222223222222222223311212222221112ecrtrrrrrer 51 PHUC LUC THONG TIN VE BAI BAO KHOA HOC CUA TÁC GIA 56

DANH MỤC HÌNH ẢNH

Hình 3.1: Số lượng các mẫu dữ liệu trong Dataset Brixia - 2-52 17

Hình 3.2: PP phân loại phổi dựa trên hệ điểm Brixia: (a) định nghĩa các vùng cho

mỗi phổi; (b-d) ví dụ về chú thích số điểm tốn thương mỗi vùng của phi.

Hình 3.3: Số lượng các mẫu dữ liệu trong Dataset COVIDGR

Hình 3.4: Tính toán điểm Đánh giá CXR về Phù phối bằng PP RALE

Hình 3.5: Ví dụ về cách tính điểm mức độ nghiêm trọng khi chụp CXR phổi ở bệnh

nhân mắc bệnh COVID-19 sử dụng HT điểm RALE điều chỉnh được trình bày như

sau (điểm phổi phải + điểm phổi trái = tổng điểm được sử dung): (A) 1 + 0 = 1;(B) 2

Model khác cho lớp MILD trên Dataset mở rộng

Hình 5.3: Số liệu hiệu suất cho các Model ML đánh giá trên Dataset đề xuất.

Hình 5.4: Thời gian thực hiện huấn luyện và thời gian thực hiện dự đoán của các

Model

Hình 5 5: Sự biên đôi thời gian chạy của các Model đã được đánh giá

Hình 5.6: Thời gian thực thi trung bình trên 8 lần chạy và kết quả chính xác của các

Model trên Dataset kiểm tra 22-22222222 22221122231112221112 21211122211 ccrr 48

BANG QUY UOC VIET TAT

Thuật ngữ/ Viết tắt | Mô ta

RALE Radiographic Assessment of Lung Edema

CHUONG 1 TONG QUAN

1.1 Dat vấn đề

COVID-19, một loại vi-rút truyền nhiễm hiện tai và phức tap của thế ky 21 Dé chan

đoán căn bệnh do vi-rút này gây ra, các PP như xét nghiệm RT-PCR, chụp CT hoặc chụp

CXR được sử dụng Tuy nhiên, việc chan đoán nhanh và chính xác trở nên khó khăn do

RT-PCR và máy quét CT thường không phô biến tại các TTYT Hình ảnh CXR đã trở thành công cụ chân đoán hiệu quả, cung cấp sự hỗ trợ cho các BS lâm sàng trong công việc chân đoán tình trạng bệnh.

Sự nghiêm trọng của bệnh COVID-19 có thé thay đồi đột ngột và gây hại cho sức khỏe Các triệu chứng như khó thở, giảm lượng oxi trong máu và viêm phổi có thé tiến triển một cách đột ngột, yêu cầu điều trị ngay lập tức Với vấn đề này, khiến việc kết hợp

công nghệ và dữ liệu hình ảnh, như hình ảnh CXR, trở nên quan trọng Bác sĩ thường phải

thực hiện phân tích hình ảnh này bằng tay để xác định tình trạng nhiễm COVID-19, đòi hỏi nhiều thời gian và công sức, đặc biệt là khi có nhiều hình ảnh cần được xử lý Quá trình

theo dõi tình trạng của bệnh nhân trở nên thách thức hơn, làm cho khả năng theo dõi tình

hình các ca bệnh một cách kịp thời và hiệu quả trở nên khó khăn hơn Áp lực tài chính và kinh tế ngày càng tăng lên đáng kề đối với các quốc gia khi chi phí được sử dụng trong quá trình chân đoán, điều trị COVID-19 tăng cao.

Việc xác định tình trạng của bệnh nhân dựa vào các đặc điểm cụ thể của tình trạng bệnh, cũng như việc phân loại thành các mức độ về tính nghiêm trọng của bệnh nhân thành

bốn cấp độ: Bình thường, Nhẹ, Trung bình và Nặng, quyết định liệu họ cần được điều trị

tại BV hoặc tự thực hiện cách ly tại nhà, hỗ trợ ngăn chặn lây lan virus và giữ cho các cơ

sở về chăm sóc sức khỏe không gặp tình trạng quá tải.

1.2 Hiện trạng

Nhiều nỗ lực NC sử dụng học sâu dé phân biệt và xác định COVID-19, tuy nhiên,

chúng không chú trọng vào tình trạng nghiêm trọng của bệnh [8] [9] [10] [11], [12].

{13],[14] Các thử nghiệm đã tập trung vào hiệu quả của kỹ thuật học sâu trong việc chan

6

đoán COVID-19 bằng hình ảnh CT ngực và CXR, điều này có thể giúp ưu tiên xét nghiệm

hoặc phát hiện ra sớm hơn các ca nhiễm bệnh, trường hợp trong bối cảnh có giới hạn về

nguồn lực Đánh giá tình trạng tôn thương của phổi do bị nhiễm COVID-19 là quan trọng

để có thể định rõ được phương án điều trị, theo dõi sự phát triển của bệnh và đánh giá rủi

ro phát sinh các bệnh khác Tuy đã có một số NC thực hiện về chủ dé này, tuy nhiên dữ

liệu vẫn còn hạn chế và chưa đủ dé làm nền tang cho một đánh giá toàn diện về độ tin cậy của các kỹ thuật này và khả năng kết hợp chúng trong thực tiễn y tế.

Nhiều NC xoay quanh COVID-19 đã tập trung vào phân loại bệnh thành hai mức:

nghiêm trong và không nghiêm trong NC đặc biệt đã nêu ra một PP tiếp cận tự động phân

loại bệnh nhân COVID-19 thành nhóm nghiêm trọng và không nghiêm trọng với kết quả chính xác cao đạt 98,5% [I5] Trong một NC khác {16} kiến trúc BS-Net được nêu ra để

đánh giá các tình trạng về tồn thương của phổi trên hình ảnh CXR và phát hiện ra rằng nó

có xác suất chính xác và nhất quán ưu việt hơn đối với các PP khác Trong một NC [17],

CNN được áp dụng dé đánh giá tình trạng nghiêm trọng phổi do COVID-19 thông qua xử

lý hình ảnh CXR Kết quả chỉ ra rằng Model MobileNet phân loại hình ảnh chụp CXR

trong trường hợp COVID-19 với khả năng phân loại tốt nhất trong các nhóm mức độ

nghiêm trọng khác nhau.

Về van đề các yếu tô ảnh hưởng do COVID-19 và mức độ nghiêm trọng, Zhenyu Tang [IS] đã sử dụng hình ảnh CT ngực Ông đã tạo ra một Model dựa trên 63 đặc điểm

định lượng từ hình ảnh CT và đạt được 87,5% về mức độ chính xác Một PP trợ giúp xác

định COVID-19 dựa trên hình anh CT đã được triển khai trong một NC [19] với kết quả chính xác tổng thé là 82% Bằng cách áp dụng các hình ảnh CXR dé phân loại bệnh nhân COVID-19 thành bốn mức độ nghiêm trọng khác nhau, các tác giả trong NC [20], đã đạt

được kết quả chính xác là 95,52% trên tập dữ liệu 3260 hình ảnh CXR đã được đánh giá

bởi hai bác sĩ CXR Tuy nhiên, tập dữ liệu này lại không được chia sẻ công khai và cần được xác thực là điều cần thiết cho các NC Mặc dù cần được kiểm tra và xác nhận trên phạm vi dữ liệu rộng lớn hơn, NC nay đã đưa ra một PP hữu ích để hỗ trợ xác định và chăm

sóc bệnh nhân CO VID-19.

COVID-19 được phân loại thành ba giai đoạn nghiêm trọng khác nhau: nhẹ, trung

bình và nghiêm trọng, dựa trên hình ảnh CT, đã được trình bày trong một thực nghiệm gần

đây [21] Để thực hiện phân loại, HT này áp dụng phương thức phân đoạn và trích xuất đặc trưng từ hình ảnh CT Kết quả nêu ra rằng Model có mức độ chính xác cao, dao động

từ 98,24% đến 99,9% phụ thuộc vào giai đoạn nhiễm COVID-19 Đánh giá của bác sĩ thường được coi là tiêu chuẩn để xác định tình trạng khả năng nghiêm trọng ở bệnh

COVID-I9ở phổi Tuy nhiên, các NC đã nêu ra một số nhược điềm của PP này, chẳng hạn

như việc chỉ tiên lượng số điểm tồn thương để dy đoán mức độ tổn thương hoặc dựa vào

hình ảnh CT hoặc CXR đề dự đoán mức độ tổn thương Điều này gây ra việc tốn thời gian cho việc hướng dẫn chú thích cho những tổn thương, do đó PP tính điểm mức độ nghiêm

trọng không hiệu quả.

Tổn thương phổi được xác định thành bốn nhóm trong LV này gồm: không tổn

thương, tồn thương nhẹ, ton thương vừa và tổn thương nặng Các y bác sĩ lâm sàng có thé

xử lý hiệu quả cho các trường hợp bệnh phổi nghiêm trọng do COVID-19 với PP này,

ngoài việc tiết kiệm thời gian Chúng tôi cũng đã chọn hình ảnh CXR làm phương tiện chan đoán vì nó dễ tiếp cận, thời gian nhanh và chi phí tương đối rẻ Tại nhiều cơ sở y tế, hình ảnh CXR vẫn được coi là một công cụ mang tính hữu ích cao để xác định tình trạng nghiêm trọng của COVID-19 và hỗ trợ kiểm soát về tình hình sức khỏe, mặc dủ chúng có

độ nhạy thấp hơn so với ảnh CT Điều này giúp giảm chỉ phí và tận dụng tài nguyên hiệu

quả trong lĩnh vực chăm sóc sức khỏe đồng thời cải thiện khả năng tiếp cận và hiệu suất của quá trình chẩn đoán.

1.3 Mục tiêu và phạm vi

1.3.1 Mục tiêu

LV định rõ ra một loạt các mục tiêu quan trọng để đạt được trong quá trình thực hiện,

bao gồm:

* NC về Model học máy sử dụng hình ảnh CXR dé dự đoán mức độ tổn thương của

phổi do COVID-19, có thé sử dung CNN hoặc các PP học máy khác dé tự động

phân loại hình ảnh thành các nhóm tương ứng với mức độ nặng.

= Tìm hiểu về HT điểm số hoặc điểm chuẩn để đánh giá về các mức độ có thé tổn

thương của phối, và phân loại ra thành các loại như nhẹ, trung bình và nặng hoặc

một HT điểm số cụ thể, phản ánh chính xác sự nặng của tốn thương và áp dụng rộng

rãi, phổ biến trong lâm sàng.

* Đánh giá về hiệu suất của các Model dự đoán bằng cách sử dung dữ liệu thực tế từ

các bệnh nhân COVID-19 Điều này đảm bảo rằng Model có khả năng dự đoán chính xác mức độ tổn thương phổi và hỗ trợ quyết định điều trị.

* _ Tạo ra một Dataset lớn, đa dang và đáng tin cậy phân loại hình ảnh CXR thành bốn

mức độ nghiêm trọng khác nhau (Bình thường, Nhẹ, Trung bình và Nặng), từ các

nguồn dữ liệu thông dụng đã được công bó để huấn luyện, đào tạo và kiểm tra

Model.

= Đề xuất một Model có kết quả chính xác cao và có tính khả năng tương thích với

Dataset mới, thông qua việc đánh giá và so sánh các kiến trúc Model khác nhau trên

Dataset đề xuất, nhằm thé hiện tính hữu ích và tiềm năng của Dataset mới cùng với Model đề xuất trong các tình huống thực tế.

1.3.2 Phạm vi

Trong phạm vi NC cua LV, chúng tôi tập trung vào hai phương diện quan trọng sau:

= Để tạo ra một Dataset mới, da dạng hơn cho việc phân loại mức độ có thé ton thương

ở phổi, chúng tôi đã sử dụng nhiều PP tăng cường va cân bằng dữ liệu Sau đó thử

nghiệm và đánh giá nhiều Model, chang hạn như VGG16, RegNet0Y40, DenseNet121, MobileNetV3 và EfficientNetB7, để đánh giá cũng như thực hiện các

so sánh về hiệu suất của chúng trên tap dir liệu mới được tạo ra Đề dam bảo tính

tổng quát và tạo ra một ước tính chính xác về hiệu suất thực sự của Model trong

việc phân loại mức độ tổn thương của phổi do COVID-19, Model hiệu quả nhất sẽ

được sửa đổi và đánh giá thông qua thực nghiệm sử dung kỹ thuật cross-validation.

* LV đã sử dụng hai Dataset được công khai để đánh giá các mức độ có thé ton thương

ở phổi do COVID-19: Dataset BrixiA [21] và Dataset COVIDGR Error! Reference

source not found Trong khi COVIDGR bao gồm các nhãn mức độ nghiêm trọng

dựa trên chỉ số RALE được điều chỉnh để định lượng COVID-19, Dataset Brixiacung cap các diém sô Brixia cũng như các hình anh tương ứng.

1.4 Dong góp của LV

Các thành tựu sau đây đã được thực hiện và trình bày bởi LV:

« Phác thảo các PP được sử dụng để phân loại, ghi nhãn và tiêu chuẩn hóa

Dataset, kèm theo giải thích về các kỹ thuật tăng cường dé tạo ra một Dataset

mới phân loại hình ảnh CXR thành bốn mức độ của sự nghiêm trọng: mức

độ Bình thường, mức độ Nhẹ, mức độ Trung bình và mức độ Nặng Dataset

này được mô tả kho lưu trữ công khai của chúng tôi va có thể được sử dụng cho các dự án liên quan đến COVID-19, dua vào bối cảnh và nhu cầu thực tế của mỗi NC.

« Đánh giá va so sánh hiệu suất của năm Model hiện đại trên Dataset đề xuất

giúp làm sáng tỏ điểm mạnh và điểm yếu của từng mô hình, mở đường cho

sự lựa chọn sáng suốt hơn khi chọn lựa Model phù hợp cho những nỗ lựcnghiên cứu tiếp theo

- Dong góp đáng kê vào sự hiéu biết về đánh giá ton thương phổi trong bối

cảnh COVID-19 cả về PP tiếp cận và lựa chọn Model

Ngoài ra, LV đã được biên soạn thành một bài báo khoa học với tiêu đề “PredictingCOVID-19 pneumonia severity from Chest X-Ray images using Convolutional Neural

Network” Bài báo nay hiện đã được gửi đến một tạp chí khoa hoc quốc tế va dang trong

quá trình đợi phản hồi

! https://github.com/trinhttv/predicting-covid-19

10

1.5 Câu trúc của LV

Đề giúp LV dé dang theo dõi hơn, nội dung được chia thành các phan riêng biệt, bao

gôm các phân sau:

Chương 1: Tổng quan về NC liên quan đến dé tài LV, bao gồm cả NC trong vangoài nước Ngoài ra, chương nay đưa ra mục đích và phạm vi NC của LV.

Chương 2: Trình bày kiến thức lý thuyết về bệnh COVID-19, các PP lây truyền và

cơ sở lý thuyết để phân loại bệnh Ngoài ra, quá trình thực hiện việc trích xuất ra

các đặc trưng từ dữ liệu hình ảnh được giải thích trong chương này Chương này

cũng giới thiệu một hướng tiếp cận dựa trên CNN

Chương 3: Các Dataset mà chúng tôi đã sử dụng trong LV được giới thiệu và HT

điểm số được sử dụng dé đánh giá mức độ tổn thương ở phổi do nhiễm COVID-19

đã được trình bày Ngoài ra, chương này đưa ra Dataset mới dé đánh giá khả năng

ton thương ở phôi do nhiễm COVID-19

Chương 4: Giải quyết van dé phân loại mức độ tôn thương phối do COVID-19 và

xây dựng Model dự đoán.

Chương 5: Thử nghiệm được tiến hành, cùng với đó là phân tích các kết quả củaModel dựa trên các dữ liệu hình ảnh đã thu thập và đáng tin cậy được đề xuất trongchương này.

Chương 6: Nói về ưu và nhược điểm của vấn đề hiện tại và đưa ra các đề xuất vàcải tiễn cho tương lai của lĩnh vực NC trong LV này

11

CHƯƠNG 2 CƠ SỞ LÝ THUYET

2.1 Bệnh Covid-19

Virus corona chủng mới (SARS-CoV-2) gây ra bệnh COVID-19 Căn bệnh được

phát hiện lần đầu ở Trung Quốc vào tháng 12 của năm 2019 Vì virus lây lan nhanh chóngnên việc kiêm soát và ngăn chặn sự lây lan trở nên vô cùng khó khăn WHO phải tuyên bốCOVID-19 trở thành dai dịch của toàn cầu vào năm 2020 khi nó gia tăng nhanh chóng.Điều này đã đánh dấu một sự thay đổi to lớn trong công tác quản lý sức khỏe, buộc cácquốc gia phải thiết lập các quy định mới dé ứng phó với tình huống, chang hạn như thiếtlập các HT kiểm soát nhiễm trùng [1], [2]

Theo dữ liệu mới nhất từ WHO [3], vào tháng 9 năm 2023, có khoảng 760 triệutrường hợp COVID-19 được xác nhận trên toàn cầu, với hơn 6 triệu 800 ngàn ca tử vong.COVID-19 có nhiều triệu chứng, từ những triệu chứng thông thường như sốt, ho khan vakhó thở đến những triệu chứng ít phô biến hơn như mat khứu giác và vị giác Tuy nhiên,nhiễm trùng phối là triệu chứng phổ biến nhất và quan trọng nhất của loại virus này

2.2 Bài toán phân loại da lớp

Trong lĩnh vực học máy, bài toán phân lớp là bước đầu tiên trong quá trình giảiquyết nhiều van dé phân loại dựa trên dữ liệu Mục tiêu cua bai toán là chia các điểm dữliệu thành các lớp hoặc nhãn khác nhau dựa trên các đặc điểm của chúng

Vì Model phải xem xét nhiều khả năng và xác định lớp phù hợp nhất cho từng trườnghợp, nên bài toán phân loại đa lớp thường gặp khó khăn hơn so với phân loại nhị phân.

Chúng bao gồm phân loại các văn bản theo nhiều chủ đề, phân loại hình ảnh theo nhiềuloại đối tượng và phân loại bệnh lý theo lĩnh vực y tế Xây dựng Model phân loại đa lớpthường bao gồm đánh giá hiệu suất của Model, thu thập dữ liệu đào tạo và tối ưu hóa nó

dé dam bảo kha năng phân loại tốt nhất cho nhiều lớp

Trong bài toán phân loại đa lớp, cụ thé là phân loại ton thương của phổi thành 4mức độ trong LV này, khó khăn chủ yêu chủ yếu xuất phát từ sự đa dạng và phức tạp củaton thương phổi, cũng như sự chênh lệch giữa các hình ảnh của những mức độ nghiêm

12

trọng khác nhau Dưới đây là một số khía cạnh khó khăn mà chúng tôi đã phải đối mặttrong quá trình giải quyết bài toán này:

- Da dang của tốn thương phối: Tén thương phổi có thé bao gồm nhiều loại, từ

viêm phổi nhẹ đến các van đề nghiêm trọng như viêm phổi nặng, tôn thương dobệnh phổi tắc nghẽn mạn tính (COPD), hay thậm chí là sự hiện diện của các khối

u Điều này tạo ra sự đa dạng lớn trong dữ liệu, đặt ra thách thức trong việc đặc

trưng và phân loại chúng.

- _ Chênh lệch về số lượng mẫu giữa các lớp: Trong thực tế, có thé xuất hiện sự

mắt cân bang về số lượng mẫu giữa các mức độ ton thương khác nhau Một số

mức độ có thé có số lượng hình anh ít hơn, điều này có thé làm tăng nguy cơ mô

hình tập trung vào phân loại các mức độ có số lượng mẫu lớn hơn

- _ Hiệu suất tùy theo phương tiện hình ảnh: Hiệu suất của mô hình có thé phụ

thuộc lớn vào chất lượng và đặc tính kỹ thuật của phương tiện hình ảnh Nếuhình ảnh không đủ độ phân giải hoặc không chuẩn, có thể ảnh hưởng đến khả

năng của mô hình trong việc phân loại chính xác.

Dé giải quyết các van đề trên, LV này làm rõ các PP áp dụng dé tinh chỉnh dữ liệucũng như giải quyết van đề về mat cần bằng các lớp (chương 3) và cải thiện hiệu suất chocác Model (chương 4).

2.3 Trích chọn đặc trưng

Trong lĩnh vực y tế, một phần quan trọng của quá trình xây dựng Model học máy là

lựa chọn đặc trưng dé tiến hành phân loại ra các mức độ có thé tổn thương ở phôi do

COVID-19 Mục tiêu là xác định các đặc điểm từ chụp CXR của phối có thé giúp đánh giá

mức độ ton thương của bệnh Trong quá trình này, các PP trích chọn đặc trưng trở nên quan

trọng dé hỗ trợ chan đoán va cải thiện về hiệu suất trong phân loại Đơn giản là lay các đặcđiểm cơ bản, chăng hạn như kích thước của các khu vực tôn thương, tỷ lệ so với diện tíchtoàn bộ phối hoặc mật độ pixel trong khu vực quan tâm

Sử dụng các Model học sâu như CNN để tự động trích chọn đặc trưng từ hình ảnh

là một PP hiện đại hơn Dựa trên tập dữ liệu lớn của hình ảnh CXR đã được gán nhãn,

13

CNN tự động tìm ra các đặc điểm quan trọng trong quá trình đào tạo Model có thê tự độngxác định các đặc điểm quan trọng như hình dang, kích thước, cấu trúc tổn thương và nhiềuđặc điểm khác Các PP trích chọn các đặc trưng của hình ảnh tự động như CNN đã có tiễn

bộ đáng ké trong việc phân loại mức độ tổn thương phổi do COVID-19

2.4 Hướng tiếp cận dựa trên CNN

Các thuật toán học máy truyền thống, mạng nơ-ron sâu (DNN), hoặc CNN là một trong

nhiều cách dé giải quyết bài toán phân loại đa lớp về mức độ tổn thương của phổi doCOVID-19 Nhưng việc sử dụng CNN có nhiều lý do hợp lý:

CNN có thê tự động xác định các đặc trưng quan trọng đến từ các hình ảnh, giúpgiảm thời gian trích chọn đặc trưng thủ công và tối ưu hóa việc xử lý dữ liệu hình

tế có hạn và dịch bệnh COVID-19 đang diễn ra

CNN thích ứng với dữ liệu mới và có thê nhiều tài nguyên và HT sẽ được sử dụng

Điều này giúp Model có thể được áp dụng một cách rộng rãi trong nhiều BV và cơ

sở chăm sóc sức khỏe khác nhau.

Với CNN, NC và phát triển các Model cải tiến dé phân loại tốn thương phối có thédiễn ra Điều này thúc đây việc phát triển và xây dựng các công cụ dé hỗ trợ quyếtđịnh mạnh mẽ và hiệu quả dé chân đoán và theo đõi COVID-19

Bài toán phân loại mức độ tôn thương của phổi do COVID-19 dựa trên CNN trong LV

này bao gôm các bước quan trọng sau:

14

= Chuẩn bị dữ liệu: Thu thập tập hình ảnh CXR phổi, với các nhãn cho mức độ tôn

thương, chang hạn như bình thường, nhẹ, trung bình hoặc nặng Dam bao rằng dữliệu cân bằng và đủ lớn dé đào tao Model

= _ Trích xuất đặc trưng: sử dụng CNN để tự động học các đặc trưng quan trọng từ

các bức ảnh, có thé được đào tạo từ đầu hoặc Model đã được đảo tạo trước dé thựchiện một nhiệm vụ liên quan, chăng hạn như phân loại ảnh

= Lap Model: Thiết kế một kiến trúc Model CNN phù hợp với bài toán phân loại mức

độ ton thương Kiến trúc này bao gồm các lớp tích chập, gdp và kết nói đầy đủ, cuối cùng dẫn đến lớp đầu ra có số lượng phân lớp tương ứng.

= Đào tao: Dao tao Model CNN dé hoc cách phân loại hình anh theo các mức độ tôn

thương khác nhau bằng cách sử dụng tập dữ liệu đã chuẩn bị

= Kiểm định và tinh chỉnh: Sử dụng tập dit liệu kiểm định riêng biệt, đánh giá hiệu

suất của Model và thay đối các tham số Model nêu cần thiết Điều này có thé bao

gồm điều chỉnh số lớp, tỷ lệ học tập hoặc thiết lập siêu tham só

= Kiểm tra và triển khai: Cuối cùng, dé đảm bảo tính toàn diện, đánh giá hiệu suất

của Model trên tập dữ liệu kiểm tra độc lập Sau đó, Model có thể được triển khai

dé hỗ trợ chân đoán và phân loại tổn thương phối do COVID-19

PP này đã được chứng minh là hiệu quả trong nhiều ứng dụng phân loại hình ảnh vì nó

sử dụng sức mạnh của CNN dé tự động học cách trích xuất đặc trưng từ hình ảnh Đề đảmbảo kết quả đáng tin cậy, dữ liệu phải được chuẩn bi đúng cách và Model phải được kiêmtra kỹ lưỡng.

15

CHUONG 3 BO DU LIEU VA HỆ THONG DIEM SO

Trong quá trình tìm kiếm các Dataset phù hợp dé phân loại mức độ tổn thương phổi

do COVID-19 bằng cách sử dụng hình ảnh CXR, công việc thu thập cũng như áp dụng cácnguồn di liệu phù hợp với mục tiêu của các thí nghiệm có thé gặp khó khăn do sự biến đôi

về tính san có va khả năng tiếp cận Hai bộ dit liệu chính là Brixia và COVIDGR được sửdụng đề thực hiện phân loại mức độ tổn thương phổi do COVID-19 thành các cấp độ khácnhau bằng cách sử dụng hình ảnh CXR

Một công cu quan trọng dé chan đoán và theo đõi các bệnh hô hấp, bao gồm ca

COVID-19, là HT điểm số được sử dụng dé đánh giá mức độ của các tôn thương cho phổi.

Các điểm số Brixia và RALE được hướng đến dé đánh giá các bệnh nhân COVID-19 nhậpviện bị tôn thương phổi Trong thời điểm đại dịch mới bat đầu bung phát, các hệ thốngđiểm số đã tồn tại trước đó, chăng hạn như RALE, được áp dụng cho việc đánh giá mức

độ của sự nghiêm trọng cho các van đề trên hình ảnh CXR Do đó, các điểm số Brixia vàRALE là các phương pháp hiệu quả dé đánh giá tinh trạng phối bị tổn thương ở bệnh nhân

COVID-19 [24], [25], [26].

3.1 Dataset Brixia và điểm Brixia

Dataset bao gồm 4.695 hình ảnh CXR của bệnh nhân COVID-19 được thu thập từhai bệnh viện ở thành phố Brescia, miền Bắc Italy Dữ liệu được thu thập thông qua PP CR

và DX với chiếu AP và PA Tất cả các hình ảnh trong Dataset này đều được lưu trữ dướidạng các tệp DICOM được an danh và được chú thích bằng điểm số Brixia dé đánh giá

mức độ mà ton thương bị phối Các mẫu được phân bố trong Dataset Brixia thé hiện trongHình 3.1.

16

1,000 857

a NORMAL-PCR+ MODERATE SEVERE

Hình 3.1: Số lượng các mẫu dữ liệu trong Dataset Brixia

Brixia score là một HT điểm được tạo ra dựa vào một số thông số hình ảnh từ chụpCXR và biết đến như một công cụ hé trợ cho công việc đánh giá mức độ vé sự nghiêm

trong của phối do COVID-19 Mỗi thông số hình ảnh, bao gồm lỗ thông khí, mật độ mang

phổi, phù phổi, mật độ đốm trắng và mật độ màng phôi, đều được ghi nhận Tổng điểm số

của các thông số này được tông hợp dé cho thấy về mức độ nghiêm trọng ở phối do

COVID-19 HT điểm Brixia [27] chia phổi thành sáu khu vực, với ba khu vực cho mỗi phổi khi

được quan sát ở chế độ xem trước sau hoặc sau trước, như được hién thị trong Hình 3.2(a).Đặc biệt:

« Vùng trên (A và D): năm phía trên thành dưới của cung động mạch chủ

« Vung giữa (B và E): năm bên dưới thành dưới của cung động mạch chủ, trên thành

dưới của tĩnh mạch phối , phía dưới của bên phải (cấu trúc rốn phải)

« Vùng dưới (C và F): nằm bên đưới của thành tĩnh mạch phổi năm phía dưới của bên

phải (đáy phổi) Khi các mốc giải phẫu không thé được xác định chính xác do lý do kỹ thuật (ví dụ: khi

chụp CXR tại giường của bệnh nhân nguy kịch), mỗi phôi có thé được chia ra thành ba khuvực băng nhau.

17

Hình 3.2: PP phân loại phổi dựa trên hệ điểm Brixia: (a) định nghĩa các vùng

cho mỗi phối; (b-d) ví dụ về chú thích số điểm tốn thương mỗi vùng cia phối.

Theo đó, sáu điểm được sử dụng để đánh giá các đặc điểm và mức độ bất thường của

phổi Mỗi khu vực sẽ nhận được điểm từ 0 đến 3, bao gồm:

= 0 điểm: không có dấu hiệu bat thường phổi

» 1 điểm: có dấu hiệu thâm nhập mô kẽ

= 2 điểm: có dau hiệu thâm nhập mô kẽ và thâm nhập phế nang (mô kẽ chiếm

diện tích lớn)

« 3 điểm: thâm nhập mô kẽ và thâm nhập phé nang (phế nang chiếm diện tích

lớn)

18

Không tính đến các ton thương khác như quai động mạch chủ bụng hoặc tràn dịchmàng phổi Có thé tổng hợp sáu điểm nay dé có điểm toàn cầu khoảng [0,18].

Hình 3.2(b—d) hiển thị các ví dụ về điểm số được gan cho các trường hợp khác nhau

Cụ thé, Hình 3.2b cho thấy một trường hợp với điểm toàn cau là 3, trong đó tổn thươngphổi chủ yếu ở mức thâm nhập mô kẽ Một trường hợp với điểm toàn cau là 10, trong đóton thương phổi phân tán khá đều và chủ yếu ở vùng dưới với các mức điểm 2 và 3, đượcminh họa trong Hình 3.2c Cuối cùng, Hình 3.2d mô tả một trường hợp có điểm toàn cầu

là 15, trong đó tôn thương phổi phân tan đồng đều giữa hai mức điểm 2 và 3

3.2 Dataset COVIDGR và điểm RALE

COVIDGR là một Dataset hình anh CXR được xây dựng bởi các chuyên gia tại Tây

Ban Nha, nhằm hỗ trợ việc chân đoán bệnh COVID-19 Tất cả các hình anh dương tính đãđược chú thích băng chỉ số RALE, một chỉ số thường được dùng đề hỗ trợ đánh giá về độnghiêm trọng của phối Ngoài ra, Dataset còn bao gồm các hình ảnh không biểu hiện triệuchứng nhưng dương tính theo xét nghiệm RT-PCR, được biéu thị là PCR+ Bình thường,cùng với các mức độ về sự nghiêm trọng khác bao gồm Nhe (Mild), Trung bình (Moderate)

và Nghiêm trọng (Serious) Việc phối hợp và làm việc chặt chẽ của các chuyên gia CXRtrong quá trình xây dựng bộ dữ liệu này đảm bảo về mặt đáng tin cậy trong kết quả phân

loại.

Dataset bao gồm tông cộng 852 hình ảnh CXR, được chia thành hai phan: 426 hình

ảnh CXR dương tính và 426 hình ảnh CXR âm tính Trong số các trường hợp dương tính,

bao gồm tat cả các mức độ nghiêm trọng được tính theo điểm số RALE bao gồm 76 hìnhảnh mức độ nghiêm trọng của PCR+ Bình thường, 100 hình ảnh mức độ Nhẹ, 171 hình ảnh

mức độ Trung bình và 79 hình ảnh mức độ Nghiêm trọng Hình 3.3 thể hiện số lượng các

mẫu trong Dataset COVIDGR.

19

NORMAL-PCR+ MODERATE SEVERE

Hình 3.3: Số lượng các mẫu dữ liệu trong Dataset COVIDGR

Điểm RALE là một công cụ giúp đánh giá về các mức độ nghiêm trọng của các bấtthường phía bên trong của phối dựa trên hình chụp CXR Diém RALE đã cho thấy đượcrằng là nó rất chính xác trong việc chân đoán về các hội chứng suy hô hấp mang tính chấtcấp tính (ARDS) [28] và các thay đôi ban đầu trong điểm RALE có thé cho biết kết quảcủa bệnh nhân trong trường hợp đang sử dụng máy thở trợ tim HT này dựa trên mật độ

của các đốm trang trên ảnh CXR dé đánh giá mức độ nặng của sưng phổi Khi mức điểmRALE tăng lên, điều này có thê cho thấy sự xuất hiện các vấn đề liên quan đến cơ chế củaquá trình hô hap và mức độ nồng độ của các chat sinh học vi chất bat thường trong phối

PP này chia phối thành 4 vùng bằng cách vẽ một đường ngang bắt đầu từ nhánh đầutiên của phối trái và một đường dọc qua trung tâm của các đốt sông Sau đó, mỗi vùng được

gan một điểm số tập trung từ 0 đến 4, dựa trên mức độ đen phôi (0: không có, 1: tối thiểu

<25%, 2: nhẹ 25-50%, 3: trung bình 50-75%, 4: nặng> 75%), và một điểm số về độ dày

của đen phôi (1: đục mờ, 2: vừa phải, 3: dày đặc) Điểm số RALE của từng vùng phổi được

tính bằng cách nhân điểm tập trung và điểm độ dày, rồi gán điểm cho vùng đó (từ 0 đến12) Tổng điểm RALE của toàn bộ phối được tính bằng cách cộng tông điểm của tat cả các

20

vùng (từ 0 đến 48) Hình 3.4 mô tả cách tính điểm cho từng vùng và tổng điểm cuối cùng

cua toản bộ phôi.

04

Calculation of RALE Score Calculation of RALE Score | Score Qi Q2 Q3 4 Total Score Qi Q2 Q3 Q4 Total

Consolidation tý 3 0 a Consolidation 4 4 3 4 Density HỆ 2 0 i Density 3 3 3 3

Quadrant scare 1 xãÑ5 x 2 Oe Deiat 8 Quadrant scare Ax3))|-Alx3) 3x3 4x3 45

=a =6 =0 =1 =12 =12 =9 =12

Hình 3.4: Tính toán điểm Đánh giá CXR về Phù phối bằng PP RALE

Đề đánh giá mức độ về các ton thương ở phôi cho các bệnh nhân mắc COVID-19,

NC [29] sử dung điểm số RALE và điều chỉnh nó cho phù hợp hơn Điểm số mới được

tính bằng cách gán giá trị từ 0-4 cho mỗi phổi dựa trên mức độ của các đặc điểm hình ảnh

như tình trạng tập trung và tràn dịch kính thủy trong bốn phần của mỗi phổi Tổng hợp

điểm số của các phôi sẽ tao ra điểm số nghiêm trọng cuối cùng Dựa trên điểm số này, các

chuyên gia trong NC [23] có thé xác định mức độ nghiêm trọng của nhiễm trùng phối trong

bốn giai đoạn khác nhau và tạo ra Dataset COVIDGR, các mức độ được xác định dựa trên

số điểm RALE gồm: bình thường (0), nhẹ (1-2), trung bình (3-5) và nặng (6-8) Vi dụ về

cách tính điểm cho mức độ nghiêm trọng trên phim chụp CXR ở bệnh nhân mắc

COVID-19 được giới thiệu trong Hình 3.5.

21

Hình 3.5: Ví dụ về cách tính điểm mức độ nghiêm trọng khi chụp CXR phổi ở

bệnh nhân mắc bệnh COVID-19 sử dụng HT điểm RALE điều chỉnh được trình bàynhư sau (điểm phối phải + điểm phối trái = tổng điểm được sử dung): (A) 1 + 0 = 1;(B)

3.3 Dataset đề xuất

HT điểm số Brixia là một PP tốt dé phân loại nguy cơ của bệnh nhân COVID-19dựa trên mức độ nghiêm trọng của ca bệnh Tuy nhiên, HT này đòi hỏi phải có chuyên môn

và các kinh nghiệm để diễn giải hình ảnh CXR, trong khi HT điểm số RALE có thể dự

đoán nhu cầu sử dụng oxy bổ sung và nhập viện ICU dé hỗ trợ thông khí cơ học nhưngthiếu các chỉ số chỉ tiết và phức tạp hơn trong việc đánh giá hình ảnh CXR dé chan đoán

22

viêm phổi do nhiễm COVID-19 Theo NC của [26], các điểm số RALE và Brixia có mốitương quan đáng ké và đáng tin cậy trong việc chan đoán viêm phối COVID-19.

Dựa trên sự tương đồng giữa hai HT đánh giá mức độ tôn thương phôi do

COVID-19 được giới thiệu ở trên, chúng tôi đã thực hiện việc phân tích và đi đến so sánh hai Dataset

trên về mức độ ton thương phối, từ đó điều chỉnh và kết hợp chúng dé tạo ra một Dataset

mới với thông tin toàn diện hơn Dataset mới này bao gồm bốn mức độ nghiêm trọng tổnthương phối, tóm tắt như sau:

- Không ton thương: Hình anh CXR của phổi không có dau hiệu ton thương hoặc chỉ

có những dấu hiệu nhỏ, không ảnh hưởng về khả năng hô hấp đối với bệnh nhân

» Tén thương nhẹ: Hình ảnh CXR của phổi có các dấu hiệu như mờ nhạt, lắm tắm

hoặc một số dấu hiệu viêm nhẹ Các ton thương nhẹ này không ảnh hưởng đến hôhấp và có thé tự điều trị hoặc theo dõi tình trạng

» Tén thương vừa: Hình ảnh CXR của phôi có các dấu hiệu như tăng độ mờ nhạt,

nhiều dấu hiệu viêm hoặc một số mô xơ hóa Các tôn thương vừa này có khả năng

ảnh hưởng đến quá trình hô hấp của bệnh nhân và cần điều trị thông qua sử dụng

kháng viêm và hỗ trợ thở.

* Tồn thương nặng: Hình anh CXR của phôi có các dấu hiệu nặng như tăng độ mờ

nhạt, nhiều dấu hiệu viêm, mô xơ hóa nhiều, phổi bị đông máu hoặc phổi bị phù.Các ton thương nặng này ảnh hưởng nghiêm trọng đến khả năng hô hap của bệnhnhân và cần điều trị ngay tại bệnh viện, bao gồm việc sử dụng máy trợ thở và cácthuốc điều trị đặc hiệu

Đề đảm bảo rằng Dataset Brixia tương thích với Model huấn luyện và nhất quán vớiDataset COVIDGR, chúng tôi đã tiến hành thực hiện một số bước dé chuẩn hóa lại dữ liệu.Đầu tiên, chuyền tất cả các hình ảnh định dạng DICOM sang định dạng JPEG dé chuẩnhóa định dạng hình ảnh trong Dataset Theo nghiên cứu của Abo-Hedibah và các cộng sự

tại Ai Cập [24], hệ thống điểm Brixia được phân loại thành bốn nhóm dựa trên kết quảchụp CXR của bệnh nhân, bao gồm: bình thường (0 điểm), nhẹ (từ 1 đến 6 điểm), trungbình (từ 7 đến 12 điểm) và nặng (từ 13 đến 18 điểm) Chúng tôi đã dựa vào NC này dé

23

phân loại Dataset Brixia thành bốn nhóm tương ứng với các tình trạng: bình thường, nhẹ,

trung bình, và nặng Sau đó, chúng tôi tiến hành gan nhãn thủ công cho các hình ảnh trongDataset thành 4 nhóm dựa trên các điểm số Brixia tương ứng cho mỗi hình ảnh trong tệp

mô tả được đính kèm với thông tin của Dataset Điều này sẽ tạo ra được sự tương đồng

trong việc phân bổ các hình ảnh vào các nhóm cụ thé cho hai Dataset trên.

Hình 3.6 mô ta số lượng mẫu sau khi kết hop hai Dataset trên, tổng cộng có 5.121 mẫu

dữ liệu Kết quả đã tạo ra một Dataset với tập hợp số lượng mẫu đữ liệu có kích thước lớn

hơn và đa dạng hơn.

Mixed Dataset (Brixia and COVIDGR)

2,500 2,327

2,000 1,731 1,500

Tuy nhiên, ở đây có sự chênh lệch về số lượng khá lớn của lớp thiểu số và lớp đa

số Sự không cân bằng lớp có thê gây ra nhiều vấn đề trong quá trình xây dựng Model, baogồm hiệu quả kém trong việc đào tạo Model, độ chính xác có kết quả thấp và khả năng vềtong quát hóa của Model bị giảm sút Do đó, dé giải quyết được các van đề về sự mat cânbang giữa các lớp là rất quan trọng trong các bài toán về phân loại [30]

Trong công việc xử lý các dữ liệu về hình ảnh của các tập train, validate và test, chúngtôi sử dụng phương thức image_dataset from directory dé tuần tự đọc dữ liệu hình ảnh

Dé tăng tốc quá trình xử lý, chúng tôi chia các hình ảnh đầu vào thành các đợt nhỏ hon với

24

batch_ size là 128 Bằng cách huấn luyện tuần tự trên từng đợt và tính toán giá trị cuối cùng,chúng tôi đảm bảo về tính chính xác cũng như về tính tin cậy của Model Thông qua sửdụng các PP này, mỗi Dataset đã được trình bày ở trên đều được xử lý một cách hiệu quảnhất.

3.4 Tang cường dữ liệu

Nham tăng khả năng phù hợp với Model, chúng tôi đã cải thiện kích thước của cáchình ảnh trong Dataset thành độ phân giải 224x224 và sử dụng chế độ màu RGB cho cáchình ảnh Tuy nhiên, do số lượng hình ảnh trong các Dataset bị mat cân bằng và chênh lệch

về số lượng hình anh khá lớn ở các nhãn thiêu số và các nhãn đa số, chúng tôi đã sử dụngcác phương thức dé tăng cường dit liệu điển hình cho Dataset hợp nhất ở trên Chúng tôichọn tăng số lượng nhãn thiêu số bằng số lượng nhãn đa số trong Dataset, công việc này

sẽ giúp cải thiện kha năng phân loại của Model trên các mẫu thiêu sé, từ đó cải thiện kếtquả chính xác và độ tin cậy của Model [31] Các kỹ thuật tăng cường này bao gồm việc lậthình ảnh, phóng to hoặc thu nhỏ hình ảnh và thay đổi kích thước hình ảnh nhằm tăng khảnăng huấn luyện của Model, chỉ tiết như sau:

» Xoay ảnh một góc ngẫu nhiên từ -5 đến 5 độ

* Phóng to hoặc thu nhỏ ảnh một lượng ngẫu nhiên từ 1.1 đến 1.5 lần

« Lat ngang ảnh (đôi vị trí của các pixel từ phía bên trái sang phía bên phải và thực

hiện ngược lại).

= Lat dọc ảnh (đổi vi trí của các pixel từ phía bên trên xuống phía dưới và thực hiện

ngược lai).

« Biến đổi ngẫu nhiên trên ảnh, bao gồm kéo din, bóp méo, xoắn nghiêng

Thông qua áp dụng các PP này, chúng tôi đã cho thấy răng Model được huấn luyện trên một Dataset đa dạng va đủ lớn dé tối ưu hóa kết quả chính xác và chỉ số tin cậy của nó Sau

khi áp dụng những PP tăng cường này, kết qua là Dataset đã được mở rộng với tông số9,294 hình ảnh Việc tăng cường dữ liệu giúp làm tăng thêm dữ liệu cho Dataset gốc, từ đógiúp tăng kết quả chính xác và tính tong quát hóa của Model Cân bằng các nhãn cũng théhiện rõ vai trò quan trọng trong việc tăng tính đáng tin cậy của kết quả phân loại trong LV

25

nay Dataset mới gồm tông cộng 9, 294 hình anh CXR bao gồm 2, 327 hình ảnh cho từng

mẫu dữ liệu (NORMAL-PCR+, MILD, MODERATE và SEVERE) Hình 3.7 cho thấy

phân phối số lượng mẫu trong Dataset mà LV đề xuất Dataset đã được chia thành các tập

dữ liệu khác nhau dé sử dụng cho các giai đoạn train, validation và test của Model, như

được thê hiện ở Bảng 3.1.

* T4p train bao gồm 6,498 hình ảnh CXR thuộc 4 lớp khác nhau, bao gồm

NORMAL-PCR+, MILD, MODERATE va SEVERE Tập dữ liệu này được sử dung cho công việc đảo tạo Model và học các đặc trưng của các lớp khác nhau.

« T4p validation bao gồm 1,400 hình ảnh CXR thuộc 4 lớp tương tự như tập train, tập

này dùng dé đánh giá hiệu suất của Model trên dit liệu mới và kiểm tra tính tổng

quát hóa của Model.

« Tap test bao gồm 1,396 hình anh CXR thuộc 4 lớp NORMAL-PCR+, MILD,

MODERATE va SEVERE Tập này được dùng đề đánh giá về giá trị hiệu suất cuốicùng của Model và đánh giá về khả năng phân loại chính xác của Model trên dữliệu mới.

26

Our proposed dataset

NORMAI-PCR+ MODERATE SEVERE

= Brixia Dataset e&COVIDGR Dataset sm Augmentation

Hình 3.7: Số lượng mẫu dữ liệu trong Dataset dé xuất của chúng tôi

Việc phân chia Dataset ra thành các tập train, validation và test giúp đánh giá được

hiệu suất của Model trên các dit liệu có tính chất khác nhau va đảm bảo tính khái quát cho

kết quả phân loại Bảng 3.2 trình bày kết qua đào tạo của Model EfficientNetB7 trên dit

liệu gốc (Dataset tổng hợp trước khi thực hiện tăng cường và cân bang các nhãn dữ liệu)

và trên Dataset đã được tăng cường và thực hiện cân băng cho các nhãn dit liệu Thông quacác số liệu, có thé thấy sự khác biệt về kết quả chính xác khi thực hiện tang cường cho các

dữ liệu trên tập dữ liệu đào tạo.

27

Bảng 3.1: Chi tiết về phân tach dữ liệu CXR phổi do Covid-19

—Ễ Without Augmentation | With Augmentation

[Validation Loss Loss 1.114 0.732

Train

teen 2

0.738 Validation Accuracy

Bảng 3.2: Các chỉ số kết quả sau khi đào tạo của Model EfficientNetB7 trên

Dataset trước khi tăng cường dit liệu và sau khi thực hiện tăng cường và cân băng các

nhãn dữ liệu

28

CHUONG 4 PHƯƠNG PHAP DUNG CHO BÀI TOÁN

Densenet121, MobileNetV3 và EfficientNetB7 dé phân loại và đo lường mức độ tổn

thương Các Model này đã được huấn luyện và đảo tạo trên các dữ liệu lớn và đã chứng tỏ khả năng về trích xuất các đặc trưng của hình ảnh Việc sử dụng Model pre-trained có thé

giúp tăng kha năng tổng quan và hiệu suất của HT đánh giá ton thương phổi Một số trong

những Model này, như MobileNetV3 và EfficientNetB7, được xây dung dé hoạt động một

các tot nhât trên các thiệt bi có phân hạn chê về tài nguyên tính toán Điêu này sé đem lại

29

lợi ích đặc biệt trong những tình huống cần có đáp ứng xác định tổn thương phôi nhanh

chóng và hiệu quả.

4.1.1 Kiến trúc hệ thống

Khi nói đến việc đem các công nghệ mới dé áp dụng cho việc phân tích dit liệu quy

mô lớn, học sâu thé hiện sức mạnh khi đòi hỏi ít nỗ lực hơn trong các giai đoạn làm sạch

dé liệu va it cần sự can thiệp của con người hơn Do đó, việc phân tích một cách có HT các

van dé, cũng như áp dụng các Model CNN phi hợp và cải thiện hiệu suất là một cách tiếp cận đặc biệt tốt đối với các vấn đề phân loại mức độ tôn thương của phối do COVID-19.

Bước đầu, chúng tôi sẽ thực hiện chuẩn hóa và sử dụng các PP dé thực hiện tăngcường dữ liệu dé tăng kích thước của hai Dataset Chúng tôi đã đưa các hình ảnh qua cácbước tiền xử lý vào năm Model mạng thần kinh như một cách hiệu quả để tận dụng kiếnthức đã học từ dữ liệu lớn và nhanh chóng dé xây dung và cải thiện Model cho các nhiệm

vụ cụ thể Đây cũng là bước cho phép các mạng khai thác các tính năng dữ liệu và tự độnggiảm thiêu hàm mat mát Cuối cùng các hình ảnh dữ liệu đầu vào được phân loại thành mộttrong 4 lớp: NORMAL-PCR+, MILD, MODERATE và SEVERE Hình 4.2 mô tả chi tiếtcách tiép cận cua LV trong việc áp dụng hoc sâu vào bài toán phân loại.

30

Preprocessing :

‘Data Balancing : Data Preprocessing

nput images Transfer learning

: Pre-trained Model |

= - : VGG16 :

S Augmentation : ol A[BICIDJE E = - : Train 1 ị : RegNet o |:

im, softmax

a

Hình 4.3: Kiến trúc VGG16

Chúng tôi đã chon VGG16 làm Model cơ sở trong NC của LV này vì đây là một

Model nền tang quan trọng được biết đến trong lĩnh vực về thị giác máy tính Tuy VGG16

31

không là Model mới nhất, tuy nhiên nó vẫn đạt được hiệu suất tương đối tốt trong việc

phân loại mức độ tồn thương của phổi trên Dataset đề xuất trong LV này

4.1.3 Kiến trúc RegNet0Y40

Kiến trúc của mang Regnet [33] được thê hiện ở hình Hình 4.4

224

224

Fltien Dense 128Dense 64

Trong LV này, chúng tôi sử dụng Model RegNet0Y40, đã được tích hop vào

TensorFlow, để thực hiện việc đánh giá Dataset mới Sử dụng RegNet0Y40 là một bướcquan trọng trong công việc đánh giá về hiệu suất của các Model trên Dataset mới này, điềunày đảm bảo về tính khách quan và đáng tin cậy của kết quả NC

4.1.4 Kiến trúc DenseNet121

Kiến trúc của mạng DenseNet121 được thể hiện ở hình Hình 4.5.

32

nhiễm COVID-19 sử dụng hình anh CXR Cùng với các Model khác, DenseNet121 đóng

góp vào NC trong LV này đề hỗ trợ cung cấp một cơ sở cho công việc phát triển các PP dựđoán và phân loại hiệu quả.

4.1.5 Kiến trúc MobileNetV3

Kiến trúc của mạng MobileNetV3 được thể hiện ở hình Hình 4.6

MobileNetV3 block

Hinh 4.6: Kién tric MobileNetV3

NC [36] đã sử MobileNetV3 dé phân loại bệnh nhân mắc bệnh lao phôi dựa trênDataset hình ảnh CXR Kết quả chỉ ra rằng Model MobileNetV3 đạt được kết quả chínhxác cao nhất so với các Model khác Điều này cho thấy rằng Model là một lựa chọn tốt dé

33

phân loại bệnh nhân mắc bệnh lao phổi dựa trên các Dataset hình ảnh CXR Chúng tôi đã

tận dụng sự xuất sắc này và tối ưu hóa Model MobileNetV3 dé phù hợp với bài toán phanloại mức độ ton thương của phối do COVID-19 Sự áp dung MobileNetV3 trong NC nayđem lại các lợi ích về việc tiết kiệm tài nguyên trong việc tính toán và tăng tốc quá trìnhphân loại Điều này có ý nghĩa trong các tình huống cần đánh giá tổn thương phổi nhanh

chóng và hiệu quả.

4.1.6 Kiến trúc EfficientNetB7

Kiến trúc chỉ tiết của mạng thần kinh EfficientNetB7 được mô tả trong Hình 4.7

Block 1 Block Z Block 3 Block 4

nó dé dàng overfitting đặc biệt khi có it dữ liệu Đề ngăn vấn đề này ảnh hưởng đến Model,

chúng tôi đã thực hiện hiệu chỉnh lại Model dé phủ hợp với Dataset đề xuất Hình 4.8 théhiện PP tinh chỉnh đề xuất sử dụng mang thần kinh EfficientNetB7 trong NC của LV này.Bằng cách thêm Dropout, sẽ làm giảm được khả năng Model học "quá nhớ" đữ liệu đàotạo và giúp nó tổng quát hóa tốt hơn Ở đây, giá trị Dropout nằm trong khoảng 0.2 và 0.5

được xem là phù hợp với bài toán của chúng tôi Vì Model EfficientNetB7 thường kết thúc

với một số lớp tích chập và toàn bộ hình ảnh được biểu diễn dưới dang tensor 4D, nên dé

sử dung các lớp Dense (hoặc fully connected layers) sau đó, chúng tôi đã sử dung lớp

34

Flatten dé thực hiện biến đổi tensor 4D này thành một vector 1D biến nó thành một vector.Lớp Dense (128) được sử dụng với số nơ-ron 128 bởi vì nó phù hợp với số lượng lớp đầu

ra cần cho bài toán phân loại đa lớp Trong trường hợp thực hiện phân loại thành bốn mức

độ thé hiện sự nghiêm trọng (mức độ Bình thường, mức độ Nhẹ, mức độ Trung bình vàmức độ Nặng), chúng tôi cần một lớp đầu ra có số lượng nơ-ron bằng với số lượng lớp đầu

vào, tức là 4 Softmax Activation được áp dụng như một bước chuyên đôi cho các gia tri

đầu ra thành xác suất, giúp dé dang diễn giải và sử dung kết quả phân loại Ngoài ra, việc

sử dụng Dense (128) sẽ không chiếm quá nhiều tài nguyên tính toán và không làm gia tăngđáng ké độ phức tạp của Model

Block 2 Block3 Block4 Block5 Block 6 Block 7 TÌSISISGIBISEISFEIGIGEISGIEIGISIS/EIGIEIE S0E/8S%GISì3/86IGIEIE7SEIE/AAE/2/S/ 0)

Fine - Tuning EfficientnetB7 Model

Hình 4.8: PP tinh chỉnh đề xuất sử dụng EfficientNetB7

4.2 Phương pháp Early Stopping

Ap dung Early Stopping cho Model phân loại mức độ tồn thương của phổi do

COVID-19 rất quan trọng Điều này đảm bảo rằng Model không chỉ học cách phân loại dữ liệu đào tạo một cách tốt, mà còn có khả năng tông quát hóa và thích nghi với đữ liệu mới.

Trong quá trình đào tạo Model, Early Stopping sẽ theo dõi hiệu suất trên tập kiểm tra vàdừng lại khi hiệu suất bat đầu giảm, ngăn Model tiếp tục học cách tương thích với mỗi chi

tiết trong đữ liệu đào tạo mà không còn khả năng áp dụng cho dữ liệu mới.

Việc áp dung Early Stopping đòi hỏi sự cân nhắc và hiểu biết về quá trình đào tạo

Model Tùy thuộc vào bài toán cụ thể và Dataset, số vòng lặp trước khi dừng có thể thayđổi Kết quả hướng đến là có một Model có khả năng trong việc tổng quát hóa tốt và có chỉ

số về hiệu suất ôn định trên tập validation, dé có thé áp dụng một cách hiệu quả trong côngviệc phân loại mức độ tổn thương của phối do nhiễm COVID-19 trên dữ liệu thực tế

35

Trong LV này, việc sử dụng PP Early Stopping đề quyết định khi nào thì nên dừnglại trong quá trình huấn luyện của các Model Trong trường hợp này, chúng tôi sử dụng nó

dé theo dõi giá trị của hàm mat mát trên tập validation Dé theo dõi quá trình dừng lại sớm

của các Model, thông số verbose=1 sẽ được thêm vào phan cài đặt của Early Stopping dé

nó sẽ in ra thông báo cảnh báo trong trường hợp EarlyStopping được kích hoạt Ở đây, việclựa chọn giá tri patience phụ thuộc vào nhiều yếu tố Tham số này đại diện cho sỐ lượngepcho mà Model có thé không cải thiện trước khi quyết định dừng lại Trong quá trình áp

dụng PP Early Stopping, chúng tôi chon patience=5 dé áp dụng cho quá trình huấn luyện

của các mô hình bởi các lý do như sau:

- Du dé én định: Giá trị patience đủ lớn sẽ giúp đảm bao rằng quá trình huấn luyện

của các Model sẽ không đừng lại ngay sau một epcho không cải thiện nhỏ Nếu giátrị này được thiết lập quá nhỏ thì Model có thể sẽ phải đừng lại quá sớm trước khi

nó đạt được sự ôn định trong việc cải thiện hiệu suất

- _ Tiết kiệm thời gian: Việc lựa chọn giá tri patience cũng anh hưởng đến thời gian

mà Model sẽ tiêu tốn trong quá trình huấn luyện dữ liệu Một giá trị quá lớn có thé

làm cho quá trình huấn luyện kéo dài hơn mà không có sự cải thiện đáng kể

- Ngan chăn overfitting: Nếu chon patience quá lớn, điều này có thé dẫn đến việc

Model sẽ tiếp tục huấn luyện khi nó đã bắt đầu overfitting, tức là hiệu suất trên tậpvalidation sẽ không còn cải thiện Giá trị patience=5 được xem là phủ hop dé giữ

mô hình không quá mức trong việc áp dụng nó cho quá trình đào tạo các Model

trong các thực nghiệm ma LV này trình bày.

4.3 Phương pháp Transfer Learning

Khi áp dụng lên bài toán phân loại mức độ thé hiện sự tổn thương của phối doCOVID-19, transfer learning trở nên quan trọng Việt bắt đầu với một Model CNN đã đượcđào tạo và huấn luyện trên các Dataset có kích thước lớn về y tế hoặc thậm chí trên các dữliệu về hình ảnh CXR để trích xuất được các đặc trưng hình ảnh quan trọng liên quan vềphôi có thé tạo ra những ưu điểm đáng kể Sau đó, có thê điều chỉnh Model này bang cách

36

thêm một số lớp mới và huấn luyện lại nó trên tập dữ liệu cụ thé cho bài toán phân loại các

mức độ thé hiện sự tôn thương Dưới đây là một số PP transfer learning phổ biến:

- Feature Extraction (Trích xuất đặc trưng): chuyên đổi dữ liệu gồm các ảnh đầu

vào thành một tập hợp các đặc trưng có thé sử dung dé dùng cho công việc mô tahoặc biểu diễn dữ liệu một các hiệu quả PP này sẽ sử dụng một mô hình đã đượchuấn luyện trước (pre-trained), thường là trên một tập dữ liệu lớn như ImageNet.Tiếp đó nó sẽ loại bỏ các tang tầng fully connected ở cuối của mô hình dé lấy cácđặc trưng không gian Sau cùng, thêm các tầng mới ở cuối dé thích nghỉ với tác vụ

mới và làm cho đữ liệu phù hợp với mô hình học.

- Fine-tuning (Tinh chỉnh): PP này sử dụng mô hình đã được huấn luyện trước, sau

đó giữ lại một sỐ lớp cuối cùng hoặc toàn bộ mô hình và tiếp tục huấn luyện trên dữ

liệu mới PP này có thé học được cách chuyên giao chính xác hơn tuy nhiên nó lạicần nhiều đữ liệu so với trích xuất đặc trưng

- Domain-specific Pre-training: Với PP này, mô hình được huấn luyện trước trên

một Dataset lớn và đa dạng, sau đó được fine-tuning trên một tap dữ liệu nhỏ và cụ

thé

- Multi-task Learning (Hoc da nhiệm): đây là PP mà một Model sẽ được huấn luyện

dé thực hiện nhiều nhiệm vụ cùng lúc Thay vì huấn luyện nhiều mô hình riêng lẻcho mỗi nhiệm vụ, mô hình Multi-task Learning sẽ chia sẻ thông tin và trọng sốgiữa các nhiệm vụ để học được biéu diễn chung và cải thiện hiệu suất toàn diện của

mô hình.

Trong phần thực nghiệm được trình bày trong LV này, chúng tôi sử dụng PP

Domain-specific Pre-training cho bài toán phân loại multi-class va áp dụng PP này cho quá trình

huấn luyện các Model trên bộ dữ liệu mới Quá trình của PP này diễn ra như sau:

- Pre-trained: Một Model được huấn luyện trên một Dataset lớn và đa dạng có thể

là đữ liệu từ Internet hoặc một Dataset tổng quát chưa được gán nhãn lớn Ở đây,chúng tôi sử dụng 5 Model đã được huấn luyện trước làm một loại Model khởi đầu

dé giúp giảm yêu cầu về kích thước của Dataset huấn luyện Thay vì phải thực hiệnhuấn luyện một Model từ đầu, sử dụng PP pre-trained sẽ giúp phần thực nghiệm

37

trong LV này tiết kiệm được thời gian và tài nguyên hệ thống Hơn nữa, nó có thé

giúp giảm nguy cơ overfitting trên tập dữ liệu nhỏ bằng cách sử dụng biểu diễnchung và tránh việc học thuộc lòng dữ liệu huấn luyện

Fine-tuning: Model sau pre-trained sẽ được thực hiện fine-tuning trên một Dataset

nhỏ, cụ thé là Dataset đề xuất trong LV này Công việc này được thực hiện dé đảmbảo rang các Model có thé thích ứng tốt với các đặc điểm của Dataset mới Bên cạnh

đó, việc fine-tuning cũng giúp các Model giảm nguy cơ overfitting bằng cách sửdụng các thông tin từ Model được huấn luyện trước đó trong trường hợp Modelđược được huân luyện trên các Dataset có hạn chê về dữ liệu.

38

CHƯƠNG 5 KET QUÁ THU NGHIEM

5.1 Đánh giá hiệu suất

Chúng tôi áp dung hai biện pháp phổ biến nhất là độ chính xác và độ đặc hiệu choviệc đánh giá và đo lường về chất lượng của các lớp dự đoán so với các lớp chính xác.Chúng tôi tính toán giá trị của hai biện pháp này từ bốn loại trong ma trận nhằm lẫn: TP,

TN, FP va EN Từ các thông tin này, có thé tiến hành dé tính các dit liệu hỗ trợ đánh giá

và xác định kết quả chính xác và chỉ số hiệu quả của các Model trong việc phân loại ảnhphôi ton thương Trong phân loại nhiều lớp, các giá trị trên có thé được tính tương tự như

được tính trong phân loại hình ảnh nhị phân như sau:

« TP:số lượng các hình ảnh được dự đoán là tôn thương và thực sự là ton thuong

« TN: sé lượng các hình anh được dự đoán là không tốn thương và thực sự không ton

NC [39] đã chỉ ra rằng, dựa trên các giá trị trên, các chỉ số đánh giá hiệu suất của

các Model có thể tính toán được Khi phân loại nhiều lớp, ta cần tính toán kết quả chính

xác (Accuracy), kết quả chính xác dự báo (precision) và độ nhớ lại (recall) cho từng lớp

Dé tính toán các giá trị này, ta áp dụng các ký hiệu ACCi, Pi và Ri Trong quá trình tính

toán, lớp í được xem là tích cực (positive) và các lớp còn lại được xem là tiêu cực

Sau khi tính được các giá tri cho từng lớp, sẽ tinh được các giá tri sau:

Average Accuracy (ACCavg): Day là độ chính xác trung bình của Model trong việc phân loại m lớp:

Macro Average F1-score (Flu): Day là điểm F1 trung bình của Model trong việcphân loại m lớp: