Diễn giải nghiên cứu tiên lượng: ROC (Receiver Operating Characteristic) Nguyễn Văn Tuấn Viện nghiên cứu Y khoa Garvan, Sydney, Australia Trong trước, bàn qua cách diễn giải kết chẩn đoán tiên lượng, với kết xét nghiệm mang tính “nhị phân” (tức có hai giá trị “dương tính” hay “âm tính) Trong này, tìm hiểu cách diễn giải kết tiên lượng yếu tố có đơn vị đo lường liên tục (còn gọi continuous variable) Yếu tố tiên lượng mang tính liên tục bao gồm biến huyết áp, insulin, glucose, creatinine, prostate-specific antigen, v.v… Việc phân tích diễn giải khả tiên lượng yếu tố lâm sàng sinh hóa tương đối phức tạp biến nhị phân Chấn đốn qui trình bất định Tính bất định xuất phát từ phương pháp xét nghiệm, dù xét nghiệm sinh hóa hay điện tử, có kết xác tuyệt đối Do đó, kết chẩn đốn thường diễn giải xác suất Chính mà William Osler (1849 – 1919), người thấy thuốc lớn Mĩ nói câu bất hủ: “Medicine is a science of uncertainty, and an art of probability” (y học khoa học tính bất định, nghệ thuật xác suất) Độ nhạy đặc hiệu Một cách để xem xét mối liên hệ bất định kết xét nghiệm bệnh trạng qua biểu đồ 2x2 sau: Kết xét nghiệm +ve -ve Bệnh trạng Có bệnh Khơng có bệnh True positive False positive Dương tính thật Dương tính giả False negative True negative Âm tính giá Âm tính thật Nói cách khác, so sánh kết xét nghiệm bệnh trạng thực tế bệnh nhân, có tình khả dĩ: • • • Bệnh nhân mắc bệnh, kết xét nghiệm dương tính (dương tính thật hay true positive) – khơng có vấn đề gì; Bệnh nhân mắc bệnh, kết xét nghiệm âm tính (cịn gọi dương tính giả hay false positive; Bệnh nhân không mắc bệnh, kết xét nghiệm âm tính (âm tính giả hay false negative); • Bệnh nhân không mắc bệnh, kết xét nghiệm âm tính (cịn gọi âm tính thật hay true negative; Tỉ lệ dương tính thật, dương tính giả, âm tính thật, âm tính giả ước tính qua nghiên cứu tiên lượng Cách tính số mô tả trước, nên không lặp lại đây, xin nhắc lại vài điểm chính: tỉ lệ dương tính thật gọi độ nhạy hay sensititivit; tỉ lệ âm tính thật gọi độ đặc hiệu hay specificity Việc chọn phương pháp có độ nhạy hay độ đặc hiệu cao tùy thuộc vào tình hình thực tế bệnh tùy thuộc vào trả giá cho “sai lầm” Sử dụng xét nghiệm có độ nhạy cao Phương pháp có độ nhạy cao cho phép loại bỏ khả mắc bệnh Do đó, nên chọn phương pháp xét nghiệm có độ nhạy cao bỏ sót bệnh dẫn đến hệ nghiêm trọng cho bệnh nhân Chẳng hạn có lí để nghi ngờ bệnh nguy hiểm (như lao phổi, chứng huyết khối tĩnh mạch sâu [deep vein thrombosis hay DVT], bệnh Hodgkin, v.v…), cần phương pháp xét nghiệm có độ nhạy cao, để loại trừ khả bệnh nhân mắc bệnh với kết âm tính Trong trường hợp khác, nên chọn xét nghiệm có độ nhạy cao kháng HIV để loại trừ nhiễm trùng liên quan đến AIDS Nói tóm lại, phương pháp xét nghiệm có độ nhạy cao có ích cho người thầy thuốc kết xét nghiệm âm tính Sử dụng xét nghiệm có độ đặc hiệu cao Phương pháp xét nghiệm đặc hiệu cao có nghĩa đối tượng khơng có bệnh, phương pháp xét nghiệm cho kết dương tính Điều có nghĩa xét nghiệm có độ đặc hiệu cao có ích cho việc xác định bệnh trạng Chẳng hạn trường hợp DVT, xét nghiệm D-dimer khơng có độ đặc hiệu cao (khoảng 63%); đó, khó mà định điều trị cho dù kết quà xét nghiệm dương tính Tất bệnh nhân có kết xét nghiệm dương tính thường xét nghiệm tiếp tục siêu âm (compression ultrasonography) – phương pháp có độ đặc hiệu cao Các xét nghiệm đặc hiệu cao cần thiết kết dương tính giả dẫn đến hệ nghiêm trọng cho bệnh nhân Chẳng hạn trước định hóa học trị liệu cho bệnh nhân, phương pháp xét nghiệm mô (tissue tests) cần phải tiến hành Nói tóm lại, phương pháp xét nghiệm đặc hiệu cao có ích kết xét nghiệm dương tính Cân độ nhạy đặc hiệu Một phương pháp xét nghiệm lí tưởng có độ nhạy đặc hiệu gần 100% Nhưng thực tế, có phương pháp xét nghiệm hồn hảo Có xét nghiệm có độ nhạy cao, độc đặc hiệu thấp (và ngược lại) Do đó, vấn đề cần phải cân hai khía cạnh nhạy đặc hiệu phương pháp xét nghiệm, trường hợp kết xét nghiệm biến liên tục Trong trường hợp kết xét nghiệm có nhiều giá trị (biến liên tục), việc xác định giá trị tham chiếu (reference cut-off value) để phân biệt “dương tính” “âm tính” (hay “bình thường” “bất bình thường”) điều quan trọng Thông thường, xét nghiệm có nhiều giá trị liên tục, độ nhạy độ đặc hiệu thường thay đổi nghịch chiều Khi độ nhạy tăng độ đặc hiệu giảm; ngược lại, độ nhạy giảm độ đặc hiệu tăng Khơng có cách để gia tăng độ đặc hiệu độ nhạy lúc cho xét nghiệm Số liệu sau (Bảng 1) cho thấy mối liên hệ xét nghiệm PSA (prostatespecific antigen) ung thư tiền liệt tuyến đàn ông người Mĩ độ tuổi 70 Nếu giá trị tham chiếu chọn ≥ ng/mL độ nhạy 100%, độ đặc hiệu 60% Điều có nghĩa dương tính giả lên đến 40%, tức nhiều người có kết “dương tính” (trên≥ ng/mL) họ không bị ung thư Nếu chọn giá trị tham chiếu ≥ 13 ng/mL độc đặc hiệu 97% độ nhạy 23%; nói cách khác, xét nghiệm bỏ sót 77% người mắc bệnh! Các tác giả đề nghị lấy giá trị tham chiếu ≥ 5.5 ng/mL ngưỡng này, độ nhạy 95% đặc hiệu 78%, tức chấp nhận Bảng Độ nhạy đặc hiệu xét nghiệm PSA tiên lượng ung thư tiền liệt tuyến đàn ông người Mĩ da đen PSA (ng/mL) ≥1 ≥2 ≥3 ≥4 ≥5 ≥6 ≥7 ≥8 ≥9 ≥ 10 ≥ 11 ≥ 12 ≥ 13 ≥ 14 ≥ 15 Độ nhạy 1.00 1.00 1.00 0.99 0.96 0.94 0.90 0.90 0.68 0.54 0.47 0.30 0.23 0.17 0.11 Độ đặc hiệu 0.21 0.48 0.60 0.73 0.76 0.79 0.83 0.88 0.90 0.93 0.94 0.95 0.96 0.97 0.97 Nguồn: xem tài liệu tham khảo [1] Biểu đồ ROC Một cách khác để mô tả mối liên hệ độ nhạy đặc hiệu biểu đồ ROC (receiver operating characteristic) [2] Biều đồ ROC có nguồn gốc qn sự, ứng dụng việc phát tàu địch hình radar Thế chiến thứ II, thời gian thập niên qua, biểu đồ ROC ứng dụng chẩn đoán tiên lượng y khoa thành cơng Biểu đồ ROC có trục tung (y-axis) tỉ lệ dương tính thật, trục hồnh (x-axis) tỉ lệ dương tính giả (tức trừ cho độ đặc hiệu) Cả hai tỉ lệ dĩ nhiên có giá trị dao động từ đến 100 (hay từ đến 1, dùng xác suất) Hai tỉ lệ ước tính cho giá trị tham chiếu Phương pháp xét nghiệm tốt có điểm tham chiếu tập trung vào khu vực “Tây Bắc”, tức điểm góc trái thuộc phía biểu đồ Những điểm cho biết giá trị tham chiếu có độ nhạy cao độ dương tính giả thấp Biểu đồ thể số liệu từ Bảng 1: Biểu đồ Biểu đồ ROC thể dương tính thật (trục hồnh) dương tính giả (trục tung) xét nghiệm PSA phát ung thư tiền liệt tuyến đàn ông người Mĩ da đen độ tuổi 70 Bằng cách nối kết điểm biểu đồ ROC, có biểu đồ ROC liên tục trình bày Nhưng có hai số (độ dương tính giả độ nhạy), chúng biến thiên ngược chiều Do đó, cần “chỉ số dung hòa” hai số Một cách qn bình hóa tốt ước tính diện tích đường biểu diễn ROC (cịn gọi area under the curve – AUC) Nhìn vào biểu đồ trên, thấy có diện tích tối đa biểu đồ (vì biểu đồ hình vng, với “cạnh” 1) Diện tích đường biểu diễn tính tốn phương pháp tích phân, thực tế có chương trình máy tính tính xác Nếu phương pháp xét nghiệm vơ dụng tất điểm tham chiếu nằm đường thẳng nối hai điểm (0, 0) (1, 1), tức đường 45 độ Trong trường hợp này, diện tích đường biểu diễn ROC phải 0.5 (xem Biểu đồ 2) Biểu đồ Diện tích đường biểu diễn (AUC) biểu đồ ROC AUC tối đa 1, tối thiểu 0.5 AUC = 0.9 xem tốt, AUC = 0.65 xem khơng tốt Giá trị AUC có nghĩa gì? Khơng dễ diển giải số AUC Tuy nhiên, lấy ví dụ để minh họa: chọn cặp đối tượng (chọn cách ngẫu nhiên từ quần thể), người có bệnh người khơng có bệnh Nếu hai người xét nghiệm phương pháp có AUC = 0.85, điều có nghĩa xác suất mà người có bệnh có kết xét nghiệm với giá trị cao người không mắc bệnh 85% Do đó, phương pháp xét nghiệm có ích phải có diện tích AUC 0.5 Khơng có ngưỡng AUC để xác định xét nghiệm tuyệt vời Tuy nhiên theo qui ước phương pháp xét nghiệm với AUC 0.8 xem tốt hay tốt; AUC 0.6 xem không tốt áp dụng vào lâm sàng (Bảng 2) [3] Bảng Diễn giải ý nghĩa diện tích đường biểu diễn ROC (AUC) AUC >0.90 0.80 đến 0.90 0.70 đến 0.80 0.60 đến 0.70 0.50 đến 0.60 Ý nghĩa Rất tốt (Excellent) Tốt (Good) Trung bình (Fair) Khơng tốt (Poor) Vơ dụng (Fail) Chỉ số AUC có có ích việc so sánh độ xác hay nhiều phương pháp xét nghiệm Cố nhiên, phương pháp có AUC cao có nghĩa phương pháp có độ xác cao Hiểu y văn Ngày nay, có nhiều phương pháp xét nghiệm phát triển quảng bá rầm rộ Nhưng phần lớn phương pháp quảng bá không hẳn tốt phương pháp cũ (qua đánh giá số AUC), chưa kể đến chi phí xét nghiệm phương pháp thường đắt tiền phương pháp cũ Một đặc điểm khác giới thiệu, phương pháp xét nghiệm có số AUC cao, kiểm định lại hay nhiều quần thể độc lập khác độ xác khơng tuyệt vời lúc ban đầu! Tình trạng thiếu quán xảy vấn đề thiết kế nghiên cứu Nhiều nghiên cứu tiên lượng dựa vào bệnh nhân bệnh viện nhóm chứng thường sinh viên y khoa khỏe mạnh Đây đối tượng “tương phản” sức khỏe, kết thường “tốt” xét nghiệm áp dụng quần thể đa dạng môi trường lâm sàng, cộng đồng Ngoài ra, số người khơng có bệnh có vấn đề sức khỏe khác có kết xét nghiệm “dương tính”, gia tăng tỉ lệ dương tính giả giảm tỉ lệ âm tính thật Chẳng hạn CEA (carcinoembryonic antigen) – xét nghiệm cho ung thư ruột – thường tăng cao bệnh nhân xơ gan viêm kết tràng; bệnh nhân xét nghiệm nhóm chứng tỉ lệ dương tính giả tăng độ đặc hiệu giảm Do đó, để đánh giá phương pháp xét nghiệm mới, cần phải trả lời cho số câu hỏi quan trọng sau: Phương pháp xét nghiệm kiểm định nhiều quần thể độc lập hay chưa; có chẩn đoán “tiêu chuẩn vàng” để làm tham khảo; phương pháp xét nghiệm thẩm định nhóm đối tượng thích hợp, ngồi cộng đồng hay chưa; phương pháp mô tả chi tiết cụ thể; độ nhạy, đặc hiệu, số AUC? Chỉ câu hỏi trả lời thỏa đánh phương pháp xét nghiệm ứng dụng vào lâm sàng Trị số tiên đốn dương tính Các số độ nhạy đặc hiệu phản ảnh độ xác phương pháp xét nghiệm Chẳng hạn độ nhạy trả lời câu hỏi: bệnh nhân mắc bệnh bệnh nhân xét nghiệm xác suất có kết dương tính Tuy nhiên, thực tế, người thầy thuốc muốn có câu trả lời ngược lại: đối tượng xét nghiệm có kết dương tính xác suất mà đối tượng mắc bệnh bao nhiêu? Chỉ số trả lời câu hỏi positive predictive value (PPV, trị số tiên đoán dương tính) Trong trước, làm quen với PPV Nói cách ngắn gọn, PPV phụ thuộc vào số: tỉ lệ hành bệnh (prevalence); độ nhạy; độ đặc hiệu Công thức PPV sau: PPV = prevalence × sensitivity ( prevalence × sensitivity ) + (1 − prevalence) × (1 − specificity ) Chẳng hạn nghiên cứu tính xác phương pháp xét nghiệm D-dimer để chẩn đoán DVT, nhà nghiên cứu báo cáo người nghi có triệu chứng DVT, có 19% thật mắc bệnh DVT Độ nhạy xét nghiệm Ddimer 97% độ đặc hiệu 63% Do đó, đối tượng có kết xét nghiệm Ddimer dương tính, xác suất mà người mắc bệnh DVT 38%: PPV = 0.19 × 0.97 = 0.38 (0.19 × 0.97 ) + (1 − 0.19) × (1 − 0.63) Một cách tính khác: Một số phổ biến khác tỉ số (likelihood ratio, LR) mà làm quen trước Tỉ số dương tính LR hàm số độ nhạy đặc hiệu: LR = sensitivity − specificity Và thay mơ tả tỉ lệ lưu hành prevalence mơ tả odds Odds tỉ số xác suất mắc bệnh xác suất không mắc bệnh: odds0 = prevalence − prevalence Thay LR odds0 vào phần bên phải cơng thức PPV, có odds1: odds1 = LR × odds0 Trong cơng thức này, odds1 odds mắc bệnh sau biết kết xét nghiệm,còn odds0 odds mắc bệnh trước biết kết xét nghiệm Cố nhiên, xác suất mắc bệnh sau biết kết xét nghiệm PPV = odds1 / (1 + odds1 ) Diễn giải kết xét nghiệm Trong thực tế lâm sàng, người thầy thuốc thường cần nhiều xét nghiệm, xét ngghiệm có độ nhạy đặc hiệu thấp 100% Có hai loại xét nghiệm: xét nghiệm song song xét nghiệm liên tục Xét nghiệm song song có nghĩa nhiều xét nghiệm tiến hành lúc Xét nghiệm nối tiếp có nghĩa xét nghiệm theo sau kết xét nghiệm 1, xét nghiệm theo sau kết xét nghiệm 2, v.v… Vì nhiều kết xét nghiệm, vấn đề đặt diễn dịch kết xét nghiệm Đối với xét nghiệm song song, phương pháp xét nghiệm độc lập (hiểu theo nghĩa kết phương pháp khơng có mối tương quan với phương pháp kia), phương pháp có độ nhạy cao độ nhạy hai Chẳng hạn xét nghiệm có độ nhạy 60%, xét nghiệm có độ nhạy 80%, độ nhạy xét nghiệm song song 80% Trong thực tế, thấy trường hợp hai xét nghiệm hoàn toàn độc lập nhau, phương pháp ước tính PPV từ xét nghiệm song song cần đến mơ hình thống kê mơ hình hồi qui logistic Xét nghiệm nối tiếp (serial tests) thường có hiệu tăng độ đặc hiệu PPV, giảm độ nhạy Nói cách khác, kết xét nghiệm theo chiến lược “nối tiếp nhau” dương tính, tin tưởng khả mắc bệnh, có nguy người mắc bệnh bị bỏ sót kết âm tính Xét nghiệm nối tiếp có ích tất xét nghiệm khơng có độ đặc hiệu cao Chiến lược xét nghiệm nối tiếp thường áp dụng yêu cầu xét nghiệm không gấp, hay có xét nghiệm đắt tiền hay xâm phạm Các xét nghiệm đắt tiền xâm phạm thực xét nghiệm đơn giản cho kết dương tính Ví dụ: Trong quần thể có nguy ung thư tiền liệt tuyến, tỉ lệ mắc bệnh 3.3% Xét nghiệm PSA có độ nhạy 67% độ đặc hiệu 97% Xét nghiệm DRE (dùng ngón tay) có độ nhạy 50% độ đặc hiệu 94% Cách ước tính PPV cho chiến lược xét nghiệm liên tục sau: Bước 1: tính PPV cho phương pháp PSA • Odds mắc bệnh trước xét nghiệm: odds0 = 0.033 / (1 – 0.033) = 0.034 • LR cho phương pháp PSA LR = 0.67 / (1 – 0.97) = 22.33 • Odds mắc bệnh sau có xét nghiệm dương tính PSA: odds1 = 0.034 x 22.33 =0.762 • Xác suất mắc bệnh sau có xét nghiệm dương tính PSA: PPV = 0.762 / (1 + 0.762) = 0.433 Bước 2: tính PPV cho phương pháp DRE • Odds mắc bệnh sau có xét nghiệm PSA: odds0 = 0.433 / (1 – 0.433) = 0.762 • LR cho phương pháp DRE: LR = 0.50 / (1 – 0.94) = 8.33 • Odds mắc bệnh sau có xét nghiệm dương tính PSA: odds1 = 0.762 x 8.33 = 6.35 • Xác suất mắc bệnh sau có xét nghiệm dương tính PSA: PPV = 6.35 / (1 + 6.35) = 0.86 Nói cách khác, trước có kết nào, xác suất mắc bệnh ung thư tiền liệt tuyến 3.3%, sau kết xét nghiệm PSA dương tính, xác suất tăng lên 43.3% Sau có kết dương tính từ DRE, xác suất mà bệnh nhân mắc bệnh tăng lên 86% Cỡ mẫu Các nghiên cứu tiên lượng chẩn đoán cần phải thiết kế theo chuẩn mực khoa học Trong chuẩn mực có việc xác định cỡ mẫu cần thiết cho nghiên cứu có ý nghĩa Thơng thường nghiên cứu xét nghiệm thiết kế theo mơ hình nghiên cứu bệnh chứng (case – control study), mà theo nhóm bệnh nhân xác định có bệnh theo phương pháp chẩn đoán chuẩn (gold standard), nhóm đối tượng khơng có bệnh Cơng thức xác định cỡ mẫu cần thiết phụ thuộc vào thông số: độ nhạy hay độ đặc hiệu cần ước tính; khoảng tin cậy độ nhạy hay độ đặc hiệu; thông số z từ luật phân phối chuẩn Gọi độ nhạy hay độ đặc hiệu π, khoảng rộng tin cậy w, hệ số khoảng tin cậy từ luật phân phối chuẩn z, công thức ước tính cỡ mẫu là: 4π (1 − π )z w2 Chẳng hạn muốn nghiên cứu phương pháp xét nghiệm mà nghĩ độ nhạy 80% (π = 0.80), khoảng tin cậy 95% thông số dao động khoảng 0.75 đến 0.85 (tức w = 0.10), với xác suất 95% (tức z = 1.96) Số cỡ mẫu cần thiết 246 người: × 0.8 × (1 − 0.8) × (1.96) N= = 246 (0.1)2 N= Nhưng cần ước tính độ đặc hiệu, giả dụ cần có độ đặc hiệu 0.80, số cỡ mẫu 246 Tổng cộng cần 492 đối tượng (246 bệnh nhân 246 người không mắc bệnh) để nghiên cứu Bảng trình bày số cỡ mẫu cần thiết cho thông số theo w khác nhau, với khoảng tin cậy 95% Bảng Cỡ mẫu cần thiết để ước tính độ nhạy độ đặc hiệu (π) π 0.70 0.75 0.80 0.05 1291 1152 983 0.075 574 512 437 Độ rộng (width) khoảng tin cậy 0.100 0.125 0.150 0.175 323 207 143 105 288 184 128 94 246 157 109 80 0.200 81 72 61 0.85 0.90 0.95 784 553 292 348 246 130 196 138 73 125 89 87 61 64 45 49 35 Nói chung, cỡ mẫu cần thiết cho nghiên cứu đánh giá phương pháp xét nghiệm cao độ nhạy đặc hiệu cao, độ nhạy đặc hiệu yêu cầu cao (thể qua độ rộng khoảng tin cậy hẹp) Kết luận Tiên lượng chẩn đốn đóng vai trị quan trọng thực hành lâm sàng, điều khó khăn vấn đề diễn giải kết nghiên cứu áp dụng cho bệnh nhân Vấn đề khó khăn phương pháp xét nghiệm có kết biến liên tục (thay biến nhị phân) Đối với xét nghiệm có nhiều giá trị, phương pháp đánh giá độ xác xét nghiệm dựa vào quân bình độ nhạy độ đặc hiệu cho giá trị tham chiếu, thể số AUC Tuy AUC (diện tích đường biểu diễn ROC) số quan trọng có ích cho việc đánh giá hữu hiệu xét nghiệm, phần lớn diện tích xuất phát từ giá trị dương tính giả Như đề cập, AUC số sử dụng để so sánh phương pháp xét nghiệm Nhưng phần lớn AUC chịu chi phối tỉ lệ dương tính giả, nói chung AUC thiếu tính nhạy Chẳng hạn xét nghiệm thứ có AUC 0.80, thêm xét nghiệm hai AUC tăng lên 0.82, điều khơng có nghĩa xét nghiệm hai góp phần khiêm tốn vào tiên lượng, mà số AUC thay đổi nhỏ Vài năm gần đây, nhà nghiên cứu phát triển số phương pháp phân tích để đánh giá xét nghiệm so với xét nghiệm chuẩn, phương pháp phân tích áp dụng rộng rãi y văn, nên có lẽ quay lại sau [4,5] Cần ghi nhận số độ nhạy, đặc hiệu, hay AUC phản ảnh độ xác phương pháp xét nghiệm; chúng không cung cấp xác suất mắc bệnh cho cá nhân Để ước tính xác suất cần thơng số quan trọng: tỉ lệ lưu hành (prevalence) tỉ lệ phát sinh (incidence) bệnh Thông số cần kết hợp với số độ xác phương pháp xét nghiệm để cung cấp chẩn đoán hay tiên lượng cho bệnh nhân Nghệ thuật xác suất y khoa khía cạnh áp dụng nhuần nhuyễn số nhằm nâng cao tính xác chẩn đoán tiên lượng Tài liệu tham khảo đọc thêm [1] Morgan TO, et al Age-specific reference ranges for serum prostate specific antigen in black men N Engl J Med 1996;335:304-310 [2] Hanley JA, McNeil BJ The meaning and use of the area under a receiver operating characteristic (ROC) curve Radiology 1982 Apr;143(1):29-36 10 [3] Pepe MS The statistical evaluation of medical tests for classification and prediction Oxford University Press 2004 [4] Michael J Pencina, Ralph B D' Agostino Sr, Ralph B D' Agostino Jr, Ramachandran S Vasan Evaluating the added predictive ability of a new marker: From area under the ROC curve to reclassification and beyond Stat Med 2008; 27:157-316 [5] Cook NR, Ridker PM Advances in Measuring the Effect of Individual Predictors of Cardiovascular Risk: The Role of Reclassification Measures Ann Intern Med 2009; 150:11795-802 11