TRƯỜNG TRƯỜNGĐẠI ĐẠIHỌC HỌCBÁCH BÁCHKHOA KHOAHÀ HÀNỘI NỘI LUẬN LUẬNVĂN VĂNTHẠC THẠCSĨ SĨ Nghiên cứucứu phương pháp phân loại loại tế bào máu Nghiên phương pháp phân tế bào hỗ trợ chẩn đoán bệnh rối loạn máumáu máu hỗ trợ chẩn đốn bệnh rối loạn HỒNG TRƯỜNG HỒNG TRƯỜNGKIỀN KIỀN hoangtruongkien1710@gmail.com hoangtruongkien1710@gmail.com Ngành NgànhKỹ Kỹthuật thuậtYYsinh sinh Giảng viên hướng dẫn: Dương Trọng Lượng Giảng viên hướng dẫn: TS.TS Dương Trọng Lượng Viện: Viện: Điện tử - Viễn thông Điện tử - Viễn thông HÀ NỘI, 4/2021 HÀ NỘI, 4/2021 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Hoàng Trường Kiền Đề tài luận văn: Nghiên cứu phương pháp phân loại tế bào máu hỗ trợ chẩn đoán bệnh rối loạn máu Chuyên ngành: Kỹ Thuật Y Sinh Mã số SV: CA190175 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày… .………… với nội dung sau: …………………………………………………………………………… ……………………… ……………………………………………………… …………………………………………… ………………………………… ………………………………………………………………… …………… ………………………………………………………………………………… …… ………………………………………………………………………… ………………………… …………………………………………………… ……………………………………………… ……………………………… …………………………………………………… Ngày Giáo viên hướng dẫn tháng năm Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG Lời cảm ơn Em xin chân thành cảm ơn thầy cô trường Đại học Bách Khoa Hà Nội, đặc biệt thầy cô môn Kỹ thuật y sinh, tận tình dạy dỗ, giúp đỡ tạo điều kiện tốt cho em suốt quãng thời gian em theo học trường, để em hồn thành đề tài Em tỏ lòng biết ơn sâu sắc với TS.DƯƠNG TRỌNG LƯỢNG, người thầy tận tình hướng dẫn khoa học giúp đỡ, bảo em suốt q trình nghiên cứu hồn thành luận văn Tôi xin chân thành cảm ơn bạn học viên cao học khóa 2019A trường Đại học Bách Khoa Hà Nội giúp đỡ trình theo học trường, giúp đỡ tơi thực đề tài Xin trân trọng cảm ơn! Tóm tắt nội dung luận văn Việc đếm, phân loại tế bào máu phương pháp kiểm tra mẫu phẩm máu kính hiển vi việc quan trọng giúp chẩn đoán nhiều bệnh liên quan đến sức khỏe người Tuy nhiên, việc kiểm tra mẫu phẩm máu phương pháp thủ công gặp nhiều khó khăn cần kiểm tra số lượng mẫu phẩm máu lớn đòi hỏi tỉ mỉ, độ xác cao Vì vậy, tác giả lựa chọn đề tài “Nghiên cứu phương pháp phân loại tế bào máu hỗ trợ chẩn đoán bệnh rối loạn máu” với số nội dung : Tìm hiểu máu, bệnh rối loạn máu phương pháp chẩn đoán bệnh rối loạn máu, nghiên cứu phương pháp tự động phân loại tế bào máu, xây dựng phương pháp phân loại tế bào máu sử dụng mạng Neural tích chập mạng YOLOv4 Mục tiêu đề tài nhằm tạo phần mềm phân loại tế bào máu để đưa vào ứng dụng thực tiễn Cấu trúc luận văn bao gồm chương : Chương 1: Cơ sở lý thuyết Trong chương 1, tác giả trình bày thành phần máu bệnh lý máu, trình thu thập kiểm tra mẫu phẩm kinh hiển vi bệnh viện Đồng thời tìm hiểu số phương pháp hỗ trợ chẩn đoán bệnh lý máu bệnh viện Chương 2: Phân loại tế bào máu hỗ trợ chẩn đoán bệnh rối loạn máu Trong chương 2, tác giả trình bày bệnh rối loạn máu, phương pháp chẩn đoán bất thường máu kiểm tra mẫu máu kính hiển vi Đồng thời phân tích đặc trưng hình thái, màu sắc tế bào để triết tách thành phần đặc trưng tế bào Ngoài tác giả tìm hiểu phương pháp phân đoạn, phân loại ảnh tế bào máu thu qua kính hiển vi Chương 3: Phương pháp phân loại tế bào máu sử dụng mạng Neural tích chập (CNN) mơ hình YOLO Trong chương 3, tác giả trình bày hai phương pháp phân loại tế bào bạch cầu thực nghiệm: Phương pháp sử dụng mạng Neural tích chập (Convolutional Neural Network) kết hợp với thuật toán Hỗ trợ vector học máy (Support vector machine), phương pháp phân loại tế bào máu sử dụng mạng YOLOv4 Cơ sở liệu thử nghiệm thu thập từ viện Huyết học Truyền máu trung ương kết hợp với sở liệu có mạng Chương : Phần mềm phân loại tế bào máu Trong chương 4, tác giả trình bày bước xây dựng phần mềm phân loại tế bào máu áp dụng mạng YOLOv4 Tác giả sử dụng công cụ phần mềm tạo giao diện Qt Designer lập trình ứng dụng ngơn ngữ Python Chữ kí họ tên học viên MỤC LỤC I Đặt vấn đề II Mục tiêu nghiên cứu, đối tượng phạm vi đề tài 10 III Ý nghĩa đề tài 10 IV Nội dung nghiên cứu 10 V Kết dự kiến 10 CHƯƠNG CƠ SỞ LÝ THUYẾT 11 1.1 Máu thành phần máu 11 1.1.1 Thành phần tế bào 11 1.1.2 Thành phần huyết tương 11 1.2 Các bệnh lý máu 11 1.2.1 Thay đổi tạo hồng cầu bất thường bệnh lý 11 1.2.2 Thay đổi tạo bạch cầu bất thường bệnh lý 12 1.2.3 Rối loạn tiểu cầu 14 1.3 Tế bào đặc trưng tế bào 14 1.3.1 Khái niệm tế bào, thành phần tế bào 14 1.3.2 Các đặc trưng tế bào máu 15 1.4 Thu thập liệu ảnh tế bào camera kết nối với kính hiển vi 17 1.5 Q trình kiểm tra mẫu phẩm kính hiển vi bệnh viện 18 1.5.1 Phương tiện, hóa chất 18 1.5.2 Các bước tiến hành 18 1.6 Một số phương pháp hỗ trợ chẩn đoán bệnh lý máu 18 1.6.1 Phương pháp tế bào học dòng chảy 18 1.6.2 Phương pháp soi mẫu phẩm kính hiển vi 19 1.7 Kết luận chương 19 CHƯƠNG PHÂN LOẠI TẾ BÀO MÁU HỖ TRỢ CHẨN ĐOÁN BỆNH RỐI LOẠN MÁU 20 2.1 Giới thiệu chương 20 2.2 Bệnh rối loạn máu phương pháp chẩn đoán 20 2.2.1 Bệnh rối loạn máu 20 2.2.2 Chẩn đốn bất thường máu kính hiển vi 20 2.3 Phân tích đặc trưng hình thái, màu sắc tế bào để triết tách thành phần đặc trưng loại tế bào bạch cầu 21 2.3.1 Đặc trưng màu sắc tế bào 21 2.3.2 Đặc trưng màu sắc nhân tế bào 21 2.3.3 Đặc trưng cấu trúc nhân tế bào 22 2.4 Moment hình thái học Pseudo-Zernike 22 2.5 Dữ liệu tế bào máu 23 2.6 Một số phương pháp phân loại tế bào máu 23 2.7 Phân loại tế bào máu sử dụng phương pháp SVM kết hợp với ảnh tế bào máu thu qua kính hiển vi 24 2.7.1 Tóm lược thuật toán SVM 24 2.7.2 Phân loại tế bào máu sử dụng thuật toán SVM 25 2.7.3 Phương pháp phân loại tế bào máu sử dụng thuật toán SVM đa tầng 27 2.7.4 Kết luận chương 28 CHƯƠNG PHƯƠNG PHÁP PHÂN LOẠI TẾ BÀO MÁU SỬ DỤNG MẠNG NƠ RON TÍCH CHẬP (CNN) VÀ MƠ HÌNH YOLO 30 3.1 Giới thiệu chương 30 3.2 Phân loại tế bào bạch cầu sử dụng mạng CNN kết hợp với thuật toán SVM………………………………………………………………………….30 3.2.1 Giới thiệu phương pháp 30 3.2.2 Mạng Neural tích chập 31 3.2.3 Phân loại tế bào máu sử dụng mạng CNN kết hợp với thuật toán SVM 32 3.2.4 Cấu trúc mơ hình phân loại CNN kết hợp SVM 32 3.2.5 Cơ sở liệu 33 3.2.6 Kết trình thực nghiệm phương pháp sử dụng mạng CNN kết hợp thuật toán SVM 33 3.3 Phân loại tế bào máu sử dụng mạng YOLOv4 37 3.3.1 Sơ lược mơ hình YOLO 37 3.3.2 Mạng YOLOv4 37 3.4 Quá trình thực huấn luyện mạng YOLO v4 41 3.4.1 Sơ đồ khối tổng quát 41 3.4.2 Thu thập liệu hình ảnh 42 3.4.3 Tăng cường xử lý liệu 42 3.4.4 Huấn luyện thuật toán 43 3.4.5 Kết thực nghiệm sở liệu ảnh gốc 44 3.5 Kết luận chương 45 CHƯƠNG PHẦN MỀM PHÂN LOẠI TẾ BÀO MÁU 47 4.1 Giới thiệu chương 47 4.2 Xây dựng phần mềm phân loại tế bào máu 47 4.3 Sử dụng phần mềm 49 4.4 Kết luận chương 50 KẾT LUẬN CHUNG 52 TÀI LIỆU THAM KHẢO 54 DANH MỤC HÌNH VẼ Hình 1.1 nối máy tính với kính hiển vi qua camera để hiển thị hình ảnh 17 Hình 2.1: Ảnh bạch cầu phân đoạn dựa 21 Hình 2.2: Ảnh nhân tế bào bạch cầu phân đoạn 21 Hình 2.3: Ví dụ siêu phẳng với lề cực đại 24 Hình 2.4: Sơ đồi khối phương pháp phân loại tế bào sử dụng thuật toán SVM đa tầng 27 Hình 3.1: Mơ hình CNN việc phân loại ảnh 31 Hình 3.2: Mơ hình tổng quan phân loại tế bào bạch cầu sử dụng mạng CNN kết hợp thuật toán SVM 32 Hình 3.3: Cấu trúc mơ hình CNN kết hợp thuật tốn SVM, lớp phân loại cuối mơ hình CNN thay lớp phân loại SVM 33 Hình 3.4: Bằng chứng nhận báo phân loại tế bào bạch cầu sử dụng mang CNN kết hợp thuật toán SVM đăng hội nghị “Nature and Biologically Inspired Computing” 36 Hình 3.5: So sánh tốc độ xử lý độ xác mạng YOLOv4 với mơ hình khác tập liệu MS COCO 37 Hình 3.6: Cấu trúc nhận diện vật thể YOLOv4 38 Hình 3.7: Sự khác biệt mạng DenseNet mạng CSPDenseNet 39 Hình 3.8: Mơ hình mạng PAN 40 Hình 3.9: Thay thực cộng mơ hình 40 Hình 3.10:ROI qua mạng SPP để thu kết dự đốn 41 Hình 3.11: Sơ đồ khối mơ hình thực nghiệm 42 Hình 3.12: Các file trọng số mơ hình sau huấn luyện 44 Hình 3.13: Độ xác mơ hình mạng YOLO v4 trình kiểm tra 44 Hình 3.14: Đánh giá khả phát tế bào bạch cầu mạng YOLOv4 45 Hình 4.1: Sơ đồ thuật tốn chương trình phần mềm phân loại tế bào máu 48 Hình 4.2: Phần mềm phát phân loại ảnh chứa nhiều loại bạch cầu 49 Hình 4.3: Phần mềm nhận diện ảnh chứa nhiều bạch cầu lympho 50 DANH MỤC BẢNG BIỂU Bảng 3.1: Thống kê phương pháp phân loại tế bào bạch cầu thực qua bước phân đoạn 31 Bảng 3.2: Bảng so sánh kết phương pháp đề xuất thử nghiệm với mạng CNN khác 33 Bảng 3.3: Kết trình phân loại tế bào bạch cầu sử dụng mạng Resnet-101 kết hợp với thuật toán SVM 34 Bảng 3.4: So sánh phương pháp đề xuất với phương pháp khác từ năm 2016 đến 35 I Đặt vấn đề Để chẩn đoán bệnh lý liên quan đến rối loạn tế bào máu nói riêng sức khỏe người nói chung, phương pháp quan trọng sử dụng bệnh viện phân loại, kiểm tra mẫu phẩm máu kính hiển vi Mặc dù có nhiều thiết bị hỗ trợ phân tích thành phần tế bào máu máy phân tích tế bào học dịng chảy, máy phân tích huyết đồ thiết bị đưa thơng tin mang tính định lượng, việc kiểm tra mẫu phẩm máu kính hiển vi giúp bác sĩ có thơng tin xác tương quan hình thái tế bào, vùng tế bào vi trường bị bệnh, từ đưa kết luận cuối tình trạng bệnh lý người bệnh Tuy nhiên, việc kiểm tra mẫu phẩm máu kính hiển vi phương pháp thủ cơng cịn gặp nhiều khó khăn, nhiều thời gian, công sức đặc biệt phải phân tích hàng nghìn mẫu phẩm ngày viện Huyết học Truyền máu trung ương Vì xây dựng hệ thống giúp tự động phân loại, đếm tế bào máu sử dụng ảnh từ kính hiển vi điện tử kết nối camera giúp giảm bớt khó khăn mà bác sĩ gặp phải trình kiểm tra mẫu phẩm máu qua kính hiển vi Trên giới, với phát triển khoa học kỹ thuật, có nhiều phương pháp tự động phân loại tế bào máu khác nghiên cứu phương pháp sử dụng thuật toán hỗ trợ vector học máy [9,10,11,18], phương mạng sử dụng mạng neural tích chập [15,16] Qua nhiều giai đoạn phát triển, phương pháp đạt kết khả quan, đồng thời số phương pháp có nhược điểm cần cản thiện cần phải thực qua trình phân đoạn tế bào, độ xác chưa thực cao thực với nhiều sở liệu Hiện Việt Nam, cơng trình nghiên cứu phương pháp tự động phân loại tế bào máu chưa cơng bố phát triển Bên cạnh ảnh hưởng phương pháp nhuộm mẫu phẩm, phương pháp thu thập ảnh khác dẫn đến sở liệu thu từ nước có khác biệt đáng kể màu sắc, kích thước, hình thái tế bào so với sở liệu thử nghiệm báo quốc tế cơng bố Vì tác giả lựa chọn đề tài “ Nghiên cứu phương pháp phân loại tế bào máu hỗ trợ chẩn đoán bệnh rối loạn máu” để nghiên cứu, xây dựng phương pháp phù hợp cho việc tự động phân loại tế bào máu áp dụng sở liệu thu từ nước kết hợp với sở liệu có mạng internet Hệ thống tự động phân loại tế bào máu áp dụng nhiều bệnh viện có sử dụng kính hiển vi điện tử kết nối với máy tính qua camera Với việc bệnh viện phần lớn kiểm tra trực tiếp mẫu phẩm máu qua kính hiển vi phương pháp thủ cơng hệ thống tự động phân loại tế bào máu không giúp giảm bớt khó khăn tiết kiểm thời gian cơng việc mà cịn góp phần giảm chi phí đầu tư trang thiết bị, bảo trì, sửa chữa bệnh viện, tiềm lớn để ứng dụng hệ thống tự động phân loại tế bào máu vào thực tiễn Thu thập liệu hình ảnh Tăng cường xử lý liệu Huấn luyện thuật tốn Thực nghiệm mơ hình tập ảnh gốc Hình 3.11: Sơ đồ khối mơ hình thực nghiệm 3.4.2 Thu thập liệu hình ảnh Dữ liệu thu thập từ hai nguồn, bao gồm thu thập từ Viện Huyết học Truyền máu Trung ương, sở liệu BCCD có sở liệu mở internet Trong bệnh viện tế bào nhuộm thuốc nhuộm Giemsa soi kính hiển vi kết nối với camera Hình ảnh từ camera hiển thị lên máy tính phân loại lưu trữ thư mục tương ứng với lớp bạch cầu khác Trong sở liệu gốc kích thước ảnh vào khoảng 640x480 pixel, với độ khuếch đại 100 lần Số lượng ảnh thu thập từ hai nguồn 435 ảnh bao gồm loại tế bào máu ngoại vi trưởng thành: bạch cầu lympho, bạch cầu mono, bạch cầu ưa axit, bạch cầu trung tính 3.4.3 Tăng cường xử lý liệu Để huấn luyện mơ hình học sâu cần chuẩn bị tập liệu lớn yếu tố vô quan trọng việc huấn luyện mơ hình Vì thực tế tế bào bạch cầu xếp theo nhiều hướng khác nhau, ảnh hưởng phương pháp nhuộm, tế bào có hình dạng riêng Do đó, tập liệu lớn giúp mơ hình học 42 vật thể nhiều trạng thái mơi trường khác nhau, từ tăng khả xác dự đốn ngồi thực tế Trong lĩnh vực có liệu việc huấn luyện mơ hình khó để tạo kết tốt việc dự đốn Do cần đến kỹ thuật gọi tăng cường liệu (data augmentation) để phục vụ cho việc đầu vào có liệu, tạo nhiều liệu dựa liệu có Trong luận văn này, phương pháp tăng cường liệu sử dụng bao gồm: Lật ảnh, dịch ảnh, quay ảnh Tập liệu sau tăng cường bao gồm 3160 ảnh bạch cầu ưa axit, 3112 ảnh bạch cầu lympho, 3120 ảnh bạch cầu mono, 3127 ảnh bạch cầu trung tính Sau tập liệu tăng cường chia làm phần:  Tập huấn luyện: tập huấn luyện thường có kích thước lớn Tập huấn luyện dán nhãn cho trước nhãn để tính tốn loss function cập nhật tham số để mơ hình tăng độ xác  Tập kiểm tra: tập kiểm tra mơ hình dùng để đánh giá lại mơ hình có hiệu hay khơng Dữ liệu tập kiểm tra phải chưa xuất tập huấn luyện để đánh giá mơ hình ngồi thực tế  Trong thực nghiệm, liệu tăng cường chia thành phần, 80% liệu cho việc huấn luyện 20% liệu cho việc kiểm tra Cơ sở liệu gốc sử dụng cho việc kiểm tra, đánh giá kết mơ hình thực tế 3.4.4 Huấn luyện thuật toán a) Bản chất trình huấn luyện mạng YOLOv4 Mạng YOLOv4 hình thành chưa có tri thức, tri thức mạng hình thành dần sau lần học Mạng neural dạy cách đưa vào đầu vào kích thích mạng hình thành đáp ứng tương ứng, đáp ứng phù hợp với loại kích thích lưu giữ Các kỹ thuật học nhằm vào việc hiệu chỉnh trọng số việc điều chỉnh, sửa đổi cấu trúc mạng số lớp, số nơron, kiểu cách mà lớp liên kết với cố định suốt trình huấn luyện Mạng neural hình thành tri thức giải vấn đề cụ thể cách đắn Đó vấn đề khác nhau, giải dựa tổ chức hợp thông tin đầu vào đáp ứng đầu mạng b) Môi trường huấn luyện Google Colab hay Colaboratory sản phẩm Google Research cho phép chạy dòng code python qua trình duyệt nhằm phục vụ nhu cầu giáo dục nghiên cứu Google Colab khơng u cầu cài đặt cấu hình cho máy tính mà tài nguyên CPUs, GPUs, TPUs cung cấp hồn tồn miễn phí Tuy nhiên tính miễn phí, Google Colab giới hạn thời gian sử dụng vịng 12 tiếng Trên mơi trường Google Colab có cài đặt sẵn số thư viện dành cho Deep Learning phổ biến PyTorch, TensorFlow, Keras,OpenCV Ngoài ra, ưu điểm Google Colab kết nối với Google Drive để đọc lưu liệu 43 nên tiện dụng Chính nhiều ưu điểm vậy, đề tài, học viện sử dụng Google Colab để huấn luyện cho tập liệu c) File trọng số trình huấn luyện Trong trình huấn luyện thuật tốn, sau 1000 vịng lặp q trình huấn luyện xuất file trọng số mơ hình Đồng thời q trình huấn luyện xuất file trọng số có kết tốt trình huấn luyện “yolov4custom_best.weight” Hình 3.12: Các file trọng số mơ hình sau huấn luyện 3.4.5 Kết thực nghiệm sở liệu ảnh gốc Hình 3.13: Độ xác mơ hình mạng YOLO v4 trình kiểm tra tập ảnh gốc 44 Hình 3.14: Đánh giá khả phát tế bào bạch cầu mạng YOLOv4 Khi kiểm tra mơ hình thuật tốn sở liệu ảnh gốc, học viện thu độ xác thuật toán phát bạch cầu lympho 99 %, bạch cầu trung tính 98 %, bạch cầu ưa axit 97 %, bạch cầu mono 97 % Độ xác trung bình mAP = 97,81 % Tỉ lệ dương tính giả tổng số lượng tế bào thấp có 1,9% Một số tế bào coi dương tính giả tác giả không khoanh vùng thủ công tế bào bạch cầu phần bạch cầu sát với biên ảnh Nhưng phát tế bào thuật tốn phát coi tế bào bạch cầu Phương pháp phân loại tế bào bạch cầu sử dụng mạng YOLOv4 thu kết cao 97,8% Ngoài phương pháp không cần thực qua bước phân đoạn bạch cầu phương pháp truyền thống (được thống kê bảng 3.1), từ giúp giảm thời gian q trình phân đoạn trích xuất đặc trưng hình ảnh để thực áp dụng vào ứng dụng thời gian thực 3.5 Kết luận chương Trong chương 3, tác giả trình bày vấn đề bao gồm phương pháp phân loại tế bào bạch cầu sửu dụng mạng CNN kết hợp với thuật toán SVM, tổng quan mạng YOLO Tác giả đề xuất phương pháp phân loại tế bào máu sử dụng mạng CNN với thuật toán phân loại SVM, phương pháp không cần thực qua giai đoạn tiền xử lý phân đoạn nhân tế bào phương pháp truyền thống, đạt kết cao 97,8% Kết phương pháp báo cáo hội nghị “Nature and Biologically Inspired Computing” năm 2020 Bên cạnh tác giả mơ tả q trình phát phân loại tế bào bạch cầu sử dụng mạng YOLOv4 Phương pháp cho kết phân loại bạch cầu cao đạt 97,8%, tỉ lệ dương tính thật đạt 98,1% cao nhiều so với 45 số phương pháp truyền thống cần thực qua bước phân đoạn thống kê bảng 3.1 Với tốn nhận dạng phân loại đối tượng nói chung, khó chọn đặc trưng hiệu quả, học sâu phương pháp có ưu vượt trội so với phương pháp học máy truyền thống Phương pháp học sâu cho kết phân loại cao, giúp đơn giản hóa q trình huấn luyện mơ hình nhận dạng khơng u cầu phân đoạn q trình trích chọn đặc trưng, qua giúp mơ hình thể thiết kế ứng dụng thời gian thưc Đồng thời cho phép tái sử dụng mơ hình huấn luyện trước để giảm thời gian cài đặt giải pháp cho toán phân loại nhận diện 46 CHƯƠNG PHẦN MỀM PHÂN LOẠI TẾ BÀO MÁU 4.1 Giới thiệu chương Trong trình tác giả thực nghiệm phương pháp tự động phân loại tế bào máu, mô hình mạng YOLOv4 đánh giá có khả phát phân loại tế bào bạch cầu với độ xác cao Vì chương này, tác giả trình bày việc xây dựng phần mềm phân loại tế bào máu sử dụng mơ hình mạng YOLOv4 Phần mềm thực với yêu cầu phát hiện, phân loại tế bào bạch cầu với độ xác cao, đưa số lượng loại tế bào thời gian ngắn giao diện dễ sử dụng Cơ sở liệu tác giả thực nghiệm với phần mềm bao gồm sở liệu ảnh thu viện Huyết học Truyền máu Trung ương sở liệu BCCD có mạng 4.2 Xây dựng phần mềm phân loại tế bào máu Phần mềm ứng dụng lập trình dựa ngơn ngữ lập trình Python giao diện lập trình Pycharm Quá trình thực giao diện phần mềm qua bước sau: Bước 1: Xây dựng giao diện phần mềm Qt Designer Trong phần mềm Qt Designer thiết kế để thuận tiện cho việc tạo giao diện cách kéo thả thuộc tính cần sử dụng vào vị trí cấu hình phơng chữ để thể giao diện hoàn chỉnh theo mong muốn Trình giao diện xây dựng bao gồm phần sau: - Tên ứng dụng phần mềm - Nút lựa chọn hình ảnh “Load Image” - Vùng hiển thị hình ảnh - Nút thực phát tế bào máu “Detection” - Phần kết quả: + Hiển thị hình ảnh phân loại tế bào bạch cầu + Nhãn chứa tên loại tế bào bạch cầu + Ô hiển thị số lượng loại tế bào bạch cầu Bước 2: Chuyển file giao diện *ui sang file code *py để lập trình cho giao diện Sau tạo xong giao diện, file giao diện lưu với đuôi * ui xuất sang file đuôi *py, để lập trình với ngơn ngữ python Khi chuyển sang file *py, chương trình chứa hàm khởi tạo cho phần giao diện khởi tạo thuộc tính giao diện Tiếp theo tác giả lập trình để kết nối phần giao diện theo sơ đồ thuật tốn thể hình 4.1 47 Hình 4.1: Sơ đồ thuật tốn chương trình phần mềm phân loại tế bào máu Đầu tiên, tác giả khởi tạo q trình kích vào nút “Load Image” liên kết tới hàm lựa chọn hiển thị hình ảnh Sau đó, tác giả xây dựng hàm phân loại tế bào bạch cầu sử dụng mạng YOLOv4 Đầu hàm bao gồm tọa độ loại tế bào bạch cầu phát hiện, tên loại bạch cầu phân loại Tiếp theo, tác giả khởi tạo q trình kích vào nút “Detection” để tạo liên kết với hàm phân loại tế bào bạch cầu Hàm sử dụng hình ảnh đầu vào chọn thực trình phát phân loại tế bào bạch cầu Đồng thời, sau trình phân loại bạch cầu thực xong, tác giả lập trình để tạo hình hộp bao quanh tế bào phát gán tên lớp cho tế bào Bên cạnh đó, tác giả đưa số lượng lớp tế bào bạch cầu hiển thị ô tương ứng với tên loại bạch cầu 48 4.3 Sử dụng phần mềm Để thực việc phân loại tế bào bạch cầu, người sử dụng phần mềm cần thực qua bước sau: - Bước 1: Nhấn vào nút “Load Image” phần mềm yêu cầu người sử dụng chọn hình ảnh đầu vào - Bước 2: Nhấn vào nút “Detection” thuật tốn thực q trình phát tế bào bạch cầu, sau hiển thị hình ảnh với tế bào máu phát hiện, đồng thời đưa số lượng loại bạch cầu phát Hình 4.2: Phần mềm phát phân loại ảnh chứa nhiều loại bạch cầu 49 Hình 4.3: Phần mềm nhận diện ảnh chứa nhiều bạch cầu lympho 4.4 Kết luận chương Trong chương này, học viện trình bày trình xây dựng giao diện phần mềm phân loại tế bào bạch cầu Phần mềm phát loại tế bào bạch cầu khác hình ảnh, tế bào bạch cầu sau phát bao quanh đường viền với màu sắc khác Đồng thời sau phát tế bào bạch cầu, phần mềm hiển thị số lượng bạch cầu loại Việc phát hiện, khoanh vùng loại bạch cầu, đưa số lượng loại bạch cầu giúp bác sĩ dễ dàng quan sát loại bạch cầu cần quan tâm đánh giá tốt bệnh lý người bệnh Cơ sở liệu thực nghiệm để kiểm tra phần mềm thu thập từ viện Huyết học Truyền máu trung ương, sở liệu BCCD có mạng internet Kích thước ảnh đầu vào 640x480 pixel Vì phần mềm phân loại tế bào bạch cầu xây dựng dựa mạng YOLOv4, sở liệu thực nghiệm chương 3, kết phần mềm đạt tương tự thực nghiệm với mạng YOLOv4 50 độ xác đạt 97,81 %, tỉ lệ dương tính thật cao đạt 98,1%, tỉ lệ dương tính thật thấp 1,9 % Thời gian xử lý phần mềm cho hình ảnh đầu vào ngắn trung bình khoảng 0.5 giây cho hình ảnh Từ kết đạt cho thấy phần mềm phân loại tế bào máu có tính ứng dụng cao thực tiễn 51 KẾT LUẬN CHUNG Kết luận: Với ý tưởng áp dụng kỹ thuật khoa học máy tính vào lĩnh vực y tế việc áp dụng mơ hình học sâu để phân tích phân loại hình ảnh tế máu, đề tài “Nghiên cứu phương pháp phân loại tế bào máu hỗ trợ chẩn đoán bệnh rối loạn máu” trình bày vấn đề sau: Trong chương 1, luận văn trình bày tổng quan thành phần máu bệnh lý gây tình trạng rối loạn máu Bên cạnh tác giả trình bày số phương pháp hỗ trợ chẩn đoán bệnh lý máu, phương pháp soi mẫu phẩm máu kính hiển vi phương pháp mang tính chất then chốt để có thơng tin quan trọng, xác q trình chẩn đốn bệnh Đồng thời thấy khó khăn q trình kiểm tra mẫu phẩm máu kính hiển vi bệnh viện Từ tác giả tìm hiểu, nghiên cứu, xây dựng phương pháp tự động phân loại tế bào máu để ứng dụng khoa huyết học bệnh viện sở y tế nước Trong chương 2, tác giả trình bày bệnh rối loạn máu phương pháp chẩn đoán bất thường mẫu phẩm máu kiểm tra kính hiển vi, từ tìm hiểu thơng tin cần thiết để đánh giá tình trạng bệnh lý qua việc kiểm tra máu kính hiển vi Bên cạnh tác giả phân tích đặc trưng màu sắc, cấu trúc tế bào nhân tế bào để từ trích xuất đặc trưng phân loại phù hợp cho việc phân loại tế bào bạch cầu Ngoài tác giả đề cập phương pháp pháp Moment hình thái học Pseudo-Zernike để trích xuất đặc trưng tế bào bạch cầu Về sở liệu, tác giả thống kê số lượng nguồn sở liệu sử dụng phương pháp khác Tác giả tổng hợp, so sánh phương pháp sử dụng thuật toán SVM, mạng neural tích chập phương pháp sử dụng mơ hình Faster-RCNN, YOLO Đồng thời, tác giả trình bày phương pháp phân loại tế bào máu sử dụng thuật toán SVM công bố nhiều báo giới, phương pháp đạt cho kết cao với sở liệu đầu vào không cần nhiều, nhiên phương pháp thường gặp vấn đề mơ hình bị overfitting áp dụng mơ hình SVM phi tuyến phức tạp tầng Từ tác giả kết hợp với nhóm nghiên cứu đề xuất phương pháp phân loại tế bào máu sử dụng thuật toán hỗ trợ vector học máy đa tầng để cải thiện độ xác q trình phân loại tế bào bạch cầu giảm nguy mơ hình bị overfiting Kết thực nghiệm cơng bố tạp chí “American Journal of Biomedical Sciences”, Am J Biomed Sci 2020,12(4),216224;doi:10.5099/aj200400216 Trong chương 3, tác giả trình bày phương pháp phân loại tế bào máu đề xuất sử dụng mạng CNN với thuật tốn phân loại SVM, phương pháp khơng cần thực qua giai đoạn tiền xử lý phân đoạn tế bào, nhân tế bào, đạt kết cao 97,8% Kết phương pháp báo cáo hội nghị “Nature and Biologically Inspired Computing” năm 2020 Bên cạnh tác giả trình bày trình thực nghiệm phương pháp phát phân loại tế 52 bào bạch cầu sử dụng mạng YOLO v4 Phương pháp cho kết phân loại bạch cầu cao đạt 97,8%, tỉ lệ dương tính thật đạt 98,1% Kết thực nghiệm sở liệu gốc thu từ viện Huyết học Truyền máu trung ương kết hợp với cở sở liệu BCCD có mang Phương pháp sử dụng mạng YOLOv4 không cần thực qua trình phân đoạn bạch cầu, đồng thời độ xác thu cao tương đương cao so với số phương pháp thống kê bảng 3.1 Trong chương 4, tác giả trình bày trình xây dựng phần mềm phân loại tế bào bạch cầu Phân mềm xây dựng dựa mơ hình mạng YOLOv4 thực nghiệm chương 3, sau phát phân loại tế bào bạch cầu phần mềm khoanh vùng tế bào phát với tên loại bạch cầu, đồng thời phần mềm đưa số lượng loại bạch cầu phát Phần mềm phân loại tế bào bạch cầu thực nghiệm sở liệu thu từ viện Huyết học Truyền máu trung ương sở liệu BCCD Phần mềm phân loại bạch cầu đạt độ xác 97,81 %, tỉ lệ dương tính thật đạt 98,1%, tỉ lệ dương tính thật thấp 1,9 % Thời gian xử lý phần mềm cho hình ảnh đầu ngắn trung bình khoảng 0.5 giây hình ảnh Việc phát hiện, khoanh vùng loại bạch cầu, đưa số lượng loại bạch cầu thời gian ngắn giúp bác sĩ dễ dàng quan sát loại bạch cầu cần quan tâm đồng thời tiết kiệm thời gian, giảm bớt khó khăn việc kiểm tra mẫu phẩm máu kính hiển vi Phương hướng phát triển tương lai: Trong tương lại, đề tài cần có nhiều hướng phát triển để áp dụng vào thực tế cách hiệu cụ thể sau: Xây dựng thuật tốn để phát vùng ảnh với kích thước lớn hơn, thu thập thêm sở liệu để nâng cao độ xác nhiều môi trường xét nghiệm, nhiều bệnh lý khác Nâng cấp phần cứng kính hiển vi để quét lần toàn mẫu phẩm máu thay phải dịch chuyển tiêu sa thủ cơng Cải thiện phần mềm giao diện để đưa nhiều thông tin trực quan 53 TÀI LIỆU THAM KHẢO [1] PGS Nguyễn Anh Trí, Cẩm nang hiến máu tình nguyện, Bộ Y tế, Viện huyết học-Truyền máu trung ương, 2007 [2] GS Nguyễn Ngọc Lanh, Sinh lý bệnh học, Nhà xuất Đại học Y Hà Nội, 2012 [3]https://www.photomarathonasia.com/tong-quan-ve-roi-loan-tieu-cau/, truy cập lần cuối 20/8/2020 [4]https://beta.wikiversity.org/wiki/T%E1%BA%BF_b%C3%A0o_c%C6%A1_t h%E1%BB%83_ng%C6%B0%E1%BB%9Di, truy cập lần cuối 4/6/2020 [5] Trịnh Bình Dy, Sinh lý học tập 1, Nhà xuất Y học Hà Nội,2006 [6] https://labvietchem.com.vn/tin-tuc/kinh-hien-vi.html, truy cập lần cuối 30/6/2020 [7]http://www.benhviendktinhquangninh.vn/quy-trinh-ky-thuat-huyet-hoctruyen-mau/qui-trinh-xet-nghiem-huyet-do.403.html, truy cập lần cuối 6/7/2020 [8] https://www.vinmec.com/vi/vrisg/suc-khoe-thuong-thuc/ky-thuat-dem-te-baodong-chay-flow-cytometry/, truy cập lần cuối 20/4/2020 [9] Ryabchykov, O., et al “Leukocyte subtypes classification by means of image processing In: 2016 Federated Conference on Computer Science and Information” Systems (FedCSIS), pp 309-316 IEEE, Poland, 2016 [10] Khamael, A., et al Classification of White Blood Cells Using L-Moments Invariant Features of Nuclei Shape In: 2018 International Conference on Image and Vision Computing New Zealand (IVCNZ), pp 1–6 IEEE, New Zealand, 2018 [11] Sajjad, M., et al “Leukocytes classification and segmentation in microscopic blood smear: a resource-aware healthcare service in smart cities” IEEE Access 5, 3475-3489, 2016 [12] Shubham Manikl, “Counting and Classification of White Blood Cell using Artificial Neural Network”, IEEE International Conference on Power Electronics Intelligent Control and Energy Systems, 2016 [13] Agaian, S., Madhukar, M., Chronopoulos, A T, “A new acute leukaemiaautomated classification system”, Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization 6(3), 303-314, 2016 [14] Manik, S., Saini, L M., Vadera, N, “Counting and classification of white blood cell using artificial neural network (ANN)”,IEEE 1st International Conference on Power Electronics, Intelligent Control and Energy Systems, pp 15 IEEE India, 2016 [15] Macawile, M J., et al, “White blood cell classification and counting using convolutional neural network”, 3rd International Conference on Control and Robotics Engineering (ICCRE), pp 259-263 IEEE, Japan, 2018 54 [16] Yu, W., et al, “Automatic classification of leukocytes using deep neural network”, IEEE 12th International Conference on ASIC (ASICON), pp 10411044 IEEE, China, 2017 [17]https://www.kaggle.com/paultimothymooney/bloodcells?fbclid=IwAR0Ime V5pVCt2QC0KGKxR4zeB_I6fzBkhmcMsBwK3UuFMjdr0NIi4S42Yg&select= dataset2-master, truy cập lần cuối ngày 21/11/2019 [18] Habibzadeh, M., Krzyżak, A., Fevens, T, “Comparative study of shape, intensity and texture features and support vector machine for white blood cell classification”, Journal of Theoretical and Applied Computer Science 7, 2013 [19] Liang, G., Hong, H., Xie, W., Zheng, L “Combining convolutional neural network with recursive neural network for blood cell image classification” IEEE Access 6, 36188-36197, 2018 [20] Trần Cao Đệ, Phạm Nguyên Khang, “Phân loại văn với máy học vector hỗ trợ định”, Tạp chí Khoa học, 2012 [21] Hoang Truong Kien, Nguyen Hoai Phuong, Hoang Thi Luyen, Nguyen Minh Duc, Duong Trong Luong, “Leukocyte (White Blood Cell) Classification with a Multi-stage Support Vector Machine”, Am J Biomed Sci.,12(4),216224;doi:10.5099/aj200400216, 2020 [22] Kien Hoang Truong , Duc Nguyen Minh, Luong Duong Trong, “Automatic white blood cell classification using Convolution Neural Network and Support Vector Machine”, Nature and Biologically Inspired Computing, 2020 [23] Su, M C., Cheng, C Y., Wang, P C “A neural-network-based approach to white blood cell classification”, The scientific world journal, 2014 [24] Zhao, J., Zhang, M., Zhou, Z., Chu, J., “Automatic detection and classification of leukocytes using convolutional neural networks”, Medical & biological engineering & computing, 55(8), 1287-1301, 2016 [25] Athiwaratkun, B., Kang, “Feature representation in convolutional neural networks” arXiv:1507.02313, 2015 [26] Hyug-Gi Kim, et al “Improvement diagnostic accuracy of sinusitis recognition in paranasal sinus X-ray using multiple deep learning models”, Quantitative Imaging in Medicine and Surgery, 2019 [27] Emine CENGİL, Ahmet ÇINAR “Multiple Classification of Flower Images Using Transfer Learning”, International Artificial Intelligence and Data Processing Symposium, 2019 [28] Basly, H., et al “CNN-SVM Learning Approach Based Human Activity Recognition” International Conference on Image and Signal Processing, pp 271281 Springer, Cham, Morocco, 2020 [29] R Donida Labati, V Piuri, F Scotti, "ALL-IDB: the acute lymphoblastic leukemia image database for image processing", in Proc of the 2011 IEEE Int Conf on Image Processing, 2011 [30] https://github.com/zxaoyou/segmentation_WBC, truy cập lần cuối 27/3/2019 55 [31] D C Cires¸an, U Meier, J Masci, L M Gambardella, and J Schmidhuber, “Flexible, high performance convolutional neural networks for image classification ”, Proceedings of the Twenty-Second International Joint Conference on Artificial Intelligence, pp 1237–1242, 2011, [32] https://ichi.pro/vi/yolo-giai-thich-6283341483825, truy cập lần cuối 1/2/2021 [33] Alexey Bachkovskiy, Chien-Yao Wang, Hong-Yuan Mark Liao, "YOLOv4: Optimal Speed and Accuracy of Object Detection", Institute of Information science Academia Sinica, 2020 [34] Sik-Ho Tsang,"Review: DenseNet - Dense Convolution Network (Image Classification)", 2018 [35] https://devai.info/2021/02/24/series-yolo-4-timhieucautrucyolov1v2v3-vav4-phan-2/, truy cập lần cuối 24/2/2021 56 ... lựa chọn đề tài “ Nghiên cứu phương pháp phân loại tế bào máu hỗ trợ chẩn đoán bệnh rối loạn máu? ?? để nghiên cứu, xây dựng phương pháp phù hợp cho việc tự động phân loại tế bào máu áp dụng sở liệu... vi bệnh viện Đồng thời tìm hiểu số phương pháp hỗ trợ chẩn đoán bệnh lý máu bệnh viện Chương 2: Phân loại tế bào máu hỗ trợ chẩn đoán bệnh rối loạn máu Trong chương 2, tác giả trình bày bệnh rối. .. CHƯƠNG PHÂN LOẠI TẾ BÀO MÁU HỖ TRỢ CHẨN ĐOÁN BỆNH RỐI LOẠN MÁU 20 2.1 Giới thiệu chương 20 2.2 Bệnh rối loạn máu phương pháp chẩn đoán 20 2.2.1 Bệnh rối loạn máu