CHƯƠNG 3: PHÂN TÍCH, ĐÁNH GIÁ HỆ THỐNG CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN CHƯƠNG “SÓNG ÁNH SÁNG” NGHIỆM KHÁCH QUAN CHƯƠNG “SÓNG ÁNH SÁNG”
3.6. Phân tích câu hỏi theo các tiêu chí
3.6.2. Phân tích câu hỏi theo các tiêu chí đề kiểm tra số 2
Độ phân biệt của các câu hỏi giữa các nhóm HS nên nằm trong khoảng từ 0.25 đến 0.75 đối với các bài kiểm tra trong lớp học [32].
Bảng 3.14. Bảng tiêu chí độ phân biệt (Đề 2)
Câu Disc Câu Disc Câu Disc Câu Disc Câu Disc
1 0.42 9 0.25 17 0.28 25 0.3 33 0.41
2 0.3 10 0.39 18 0.28 26 0.28 34 0.33
3 0.21 11 0.25 19 0.25 27 0.35 35 0.36
4 0.23 12 0.34 20 0.4 28 0.4 36 0.35
5 0.49 13 0.31 21 0.28 29 0.37 37 0.29
6 0.26 14 0.34 22 0.3 30 0.27 38 0.52
7 0.31 15 0.46 23 0.39 31 0.33 39 0.3
8 0.21 16 0.3 24 0.4 32 0.31 40 0.34
Bảng 3.15. Bảng phân bổ độ phân biệt của các câu hỏi (Đề 2) Độ phân
biệt >0.75 >=0.25 <0.25 >0 <0 Min Mean Max
Số câu 0 37 3 40 0
0.21 0.33 0.52 Tỉ lệ (%) 0 92.50% 7.50% 100% 0
Từ bảng 3.14 và 3.15 ta thấy độ phân biệt (Disc) của 40 câu hỏi dao động trong khoảng từ 0.21 đến 0.52. Trong đó:
- Có 3 câu hỏi : 3, 4, 8 có độ phân biệt thấp (0<Disc<0.25) chiếm 7.50% trong tổng số 40 câu hỏi. Tuy nhiên độ phân biệt của 3 câu hỏi này vẫn lớn hơn giá trị 0.2 nên vẫn nằm trong khoảng chấp nhận được [28].
- Còn lại 37 câu hỏi chiếm tỉ lệ 92.50% có độ phân biệt cao, nằm trong khoảng từ 0.25 đến 0.75. Do đó, trong phạm vi kiểm tra tại lớp học đề kiểm tra này khá phù hợp.
3.6.2.2. Tiêu chí tỉ lệ phần trăm (Percent)
Bảng 3.16. Bảng tiêu chí tỉ lệ phần trăm các phương án trả lời (Đề 2)
Câu A (%)
B (%)
C (%)
D (%)
Phương án
đúng Độ khó p
Mức độ
Đánh giá
1 4.2 5.8 6.6 83.4 D 0.834 NB Tốt
2 8.7 6.9 77.8 6.6 C 0.778 NB Tốt
3 70.6 9.5 8.5 11.4 A 0.706 NB Tốt
4 10.3 69.8 9.8 10 B 0.698 NB Tốt
5 71.4 8.5 10.6 9.5 A 0.714 NB Tốt
6 72.2 10.6 8.7 8.5 A 0.722 NB Tốt
7 12.4 13.2 63 11.4 C 0.63 TH Tốt
8 11.4 21.7 15.6 51.3 D 0.513 TH Tốt
9 10.8 63.2 11.1 14.8 B 0.632 TH Tốt
10 9.5 65.6 11.9 13 B 0.656 TH Tốt
11 63.2 11.4 13.8 11.6 A 0.632 TH Tốt
12 64.8 9.8 14 11.4 A 0.648 TH Tốt
13 11.4 11.4 59 18.3 C 0.59 TH Tốt
14 12.7 11.4 61.6 14.3 C 0.616 TH Tốt
15 9.3 77.2 7.1 6.3 B 0.772 TH ĐYC
16 15.6 13.5 17.2 53.7 D 0.537 TH Tốt
17 24.6 22.2 32.5 20.6 C 0.325 TH ĐYC
18 50.8 18.3 16.4 14.6 A 0.508 VD Tốt
19 14.6 18.5 18 48.9 D 0.489 VD Tốt
20 55.3 19.3 14 11.4 A 0.553 VD Tốt
21 13.5 18.5 54 14 C 0.54 VD Tốt
22 17.7 52.6 13.5 16.1 B 0.526 VD Tốt
23 56.3 19.6 13.5 10.6 A 0.563 VD Tốt
Câu
A (%)
B (%)
C (%)
D (%)
Phương án
đúng Độ khó p
Mức độ
Đánh giá
24 57.9 13.5 14 14.6 A 0.579 VD Tốt
25 19.3 51.6 13.2 15.9 B 0.516 VD Tốt
26 14 17.2 19.3 49.5 D 0.495 VD Tốt
27 15.9 18.8 19 46.3 D 0.463 VD Tốt
28 20.4 18.5 16.7 44.4 D 0.444 VD Tốt
29 42.3 22 20.9 14.8 A 0.423 VD Tốt
30 20.4 45.5 16.7 17.5 B 0.455 VD Tốt
31 23.8 24.1 35.2 16.9 C 0.352 VD ĐYC
32 31.7 22.8 21.2 24.3 A 0.317 VD ĐYC
33 24.6 27 19.6 28.8 C 0.196 VDC Tốt
34 27.2 22.2 24.6 25.9 B 0.222 VDC Tốt
35 20.6 23.5 29.9 25.9 A 0.206 VDC Tốt
36 24.1 20.1 29.1 26.7 D 0.267 VDC Tốt
37 35.7 22.2 23 19 A 0.357 VDC Tốt
38 27.2 25.7 23.3 23.8 D 0.238 VDC Tốt
39 44.2 17.7 18.3 19.8 B 0.177 VDC Tốt
40 26.5 20.1 22.5 31 D 0.31 VDC Tốt
Từ bảng 3.16 ta có:
- Độ khó của các câu hỏi nằm trong khoảng từ 0.177 đến 0.834.
- Có 1 câu hỏi có độ khó lớn hơn 0.8 (Câu 1) là câu hỏi rất dễ và ở mức độ nhận biết; có 12 câu hỏi có độ khó nằm trong khoảng từ 0.6 đến 0.8 (Câu 2, 3, 4, 5, 6, 7, 9, 10, 11, 12, 14, 15) là các câu hỏi dễ; trong đó có các câu 2, 3, 4, 5, 6 được thiết kế ở mức độ nhận biết, câu 7, 9, 10, 11, 12, 14, 15 ở mức độ thông hiểu. Có 16 câu hỏi có độ khó nằm trong khoảng từ 0.4 đến 0.6 (Câu 8, 13, 16, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30) là các câu hỏi trung bình được thiết kế ở mức độ thông hiểu và vận dụng.
Như vậy các câu hỏi đã nêu được thiết kế là phù hợp với mức độ yêu cầu của đề kiểm tra.
- Bên cạnh đó có 9 câu hỏi có độ khó nằm trong khoảng từ 0.2 đến 0.4 (Câu 17, 31, 32, 34, 35, 36, 37, 38, 40) là các câu hỏi khó; trong đó có câu 17 thiết kế ở mức độ thông hiểu và câu 31, 32 được thiết kế ở mức độ vận dụng nhưng lại là các câu hỏi khó đối với nhóm thí sinh làm bài kiểm tra này. Qua trao đổi với nhóm thí sinh làm bài kiểm tra thì ở câu 17 vận dụng kiến thức thực tế nên dễ nhầm lẫn, còn các câu 31 và 32 thì các em chưa tìm hiểu kĩ về dạng bài tập này; còn lại các câu hỏi 34, 35, 36, 37, 38, 40 được thiết kế ở mức độ vận dụng cao nên độ khó như vậy là phù hợp.
- Ngoài ra có 2 câu hỏi có độ khó dưới 0.2 (Câu 33, 39) là các câu hỏi rất khó đối với nhóm HS làm bài kiểm tra này, đây là các câu hỏi được thiết kế ở mức độ vận dụng
cao nên độ khó như vậy là tương đối phù hợp.
3.6.2.3. Tiêu chí hệ số tương quan point biserial
Hệ số tương quan cho biết mối quan hệ giữa các phương án trả lời của câu hỏi.
Đối với những câu hỏi tốt thì hệ số tương quan cho thấy các phương án nhiễu có chỉ số âm là những câu nhiễu tốt và phương án đúng phải có chỉ số dương nhưng tốt nhất là nằm trong khoảng từ 0.25 đến 0.75 [11, 12, 21, 32].
Bảng 3.17. Bảng tiêu chí hệ số tương quan các phương án trả lời (Đề 2)
Câu A B C D Phương án đúng Đánh giá
1 -0.2 -0.18 -0.31 0.42 D Tốt
2 -0.12 -0.17 0.3 -0.21 C Tốt
3 0.21 -0.11 -0.16 -0.06 A ĐYC
4 -0.17 0.23 0 -0.18 B ĐYC
5 0.49 -0.27 -0.35 -0.13 A Tốt
6 0.26 -0.1 -0.31 0 A Tốt
7 -0.25 -0.22 0.31 0.02 C Tốt
8 -0.21 -0.07 -0.03 0.21 D ĐYC
9 -0.05 0.25 -0.28 -0.04 B Tốt
10 -0.22 0.39 -0.15 -0.21 B Tốt
11 0.25 -0.05 -0.22 -0.09 A Tốt
12 0.34 -0.18 -0.14 -0.19 A Tốt
13 -0.23 -0.26 0.31 0.01 C Tốt
14 -0.21 -0.17 0.34 -0.12 C Tốt
15 -0.21 0.46 -0.34 -0.18 B Tốt
16 -0.05 -0.25 -0.11 0.3 D Tốt
17 -0.13 -0.16 0.28 -0.02 C Tốt
18 0.28 -0.09 -0.21 -0.08 A Tốt
19 -0.15 -0.14 -0.06 0.25 D Tốt
20 0.4 -0.2 -0.24 -0.11 A Tốt
21 -0.12 -0.16 0.28 -0.1 C Tốt
22 -0.18 0.29 -0.23 0 B Tốt
23 0.39 -0.19 -0.29 -0.07 A Tốt
24 0.4 -0.12 -0.29 -0.15 A Tốt
25 -0.06 0.3 -0.26 -0.1 B Tốt
26 -0.02 -0.17 -0.17 0.28 D Tốt
27 -0.06 -0.16 -0.23 0.35 D Tốt
28 -0.12 -0.21 -0.19 0.4 D Tốt
29 0.37 -0.15 -0.14 -0.17 A Tốt
30 -0.05 0.26 -0.22 -0.08 B Tốt
31 -0.18 -0.04 0.33 -0.18 C Tốt
Câu A B C D Phương án đúng Đánh giá
32 0.31 -0.06 -0.18 -0.1 A Tốt
33 -0.17 -0.2 0.4 0.01 C Tốt
34 0.16 0.33 -0.07 -0.41 B Tốt
35 0.36 0.08 -0.12 -0.29 A Tốt
36 -0.15 -0.08 -0.12 0.35 D Tốt
37 0.29 -0.24 -0.14 0.05 A Tốt
38 -0.21 -0.22 -0.08 0.52 D Tốt
39 -0.03 0.3 0.02 -0.27 B Tốt
40 -0.21 -0.16 0 0.34 D Tốt
Từ bảng 3.17 cho thấy có 37 câu hỏi có các phương án nhiễu có giá trị âm và phương án đúng có giá trị từ 0.25 trở lên, như vậy đây là các câu hỏi tốt. Có 3 câu hỏi (Câu 3, 4, 8) có các phương án nhiễu có chỉ số âm và phương án đúng có giá trị nằm trong khoảng từ 0.2 đến 0.25, đây là các câu hỏi đạt yêu cầu.
3.6.2.4. Tiêu chí ngưỡng để vượt qua Thresholds
Bảng 3.18. Bảng tiêu chí ngưỡng để vượt qua Thresholds (Đề 2)
Câu Thresholds Câu Thresholds Câu Thresholds Câu Thresholds
1 -1.75 11 -0.58 21 -0.16 31 0.69
2 -1.36 12 -0.66 22 -0.1 32 0.86
3 -0.95 13 -0.38 23 -0.26 33 1.55
4 -0.91 14 -0.5 24 -0.33 34 1.38
5 -0.99 15 -1.33 25 -0.05 35 1.48
6 -1.03 16 -0.14 26 0.04 36 1.12
7 -0.57 17 0.82 27 0.18 37 0.67
8 -0.04 18 -0.01 28 0.27 38 1.29
9 -0.58 19 0.07 29 0.36 39 1.68
10 -0.69 20 -0.22 30 0.22 40 0.9
Từ bảng 3.18 ta thấy chỉ số ngưỡng để vượt qua Thesholds của các câu hỏi nằm trong khoảng từ -1.75 đến 1.68. Trong đó có 17 câu hỏi có giá trị Threshold từ 0 đến 1.68 chiếm 42.5%, có 23 câu hỏi có giá trị Threshold từ -1.75 đến 0 chiếm 57.5%. Kết quả thu được từ sơ đồ 3.2 cho thấy năng lực thí sinh từ 0 đến 1.77 chiếm 48.94%, trong khi độ khó câu hỏi trong khoảng này là 42.5%; năng lực thí sinh từ -1.97 đến 0 chiếm 51.06%, trong khi đó độ khó trong khoảng này chiếm 57.5%. Như vậy bài kiểm tra tương đối phù hợp với năng lực của nhóm HS này, tuy nhiên để đánh giá tốt năng lực của nhóm HS này thì nên bổ sung thêm một số câu hỏi có độ khó từ mức 0 trở lên và giảm một số câu hỏi từ mức 0 trở xuống.
Kết quả thu được từ bảng 3.18 và từ hình 3.5 cho thấy câu 1 là câu hỏi dễ nhất (có độ khó delta bằng -1.75) nên xác suất trả lời đúng câu hỏi này rất cao thể hiện ở hình
3.7, và đánh giá tốt nhất đối với nhóm HS có năng lực thấp (vùng năng lực từ -2.0 đến -1.0) thể hiện rất rõ ở hình 3.8.
Hình 3.7. Biểu diễn mối tương quan xác suất trả lời đúng câu hỏi 1 và năng lực HS (Đề 2)
Hình 3.8. Đồ thị biểu diễn hàm thông tin câu hỏi số 1 (Đề 2)
Và câu hỏi số 39 là câu hỏi khó nhất (có độ khó delta bằng 1.69) nên xác suất trả lời đúng câu hỏi này rất thấp, thể hiện qua hình 3.9, và đánh giá tốt nhất nhóm HS có năng lực cao (vùng năng lực từ 1.5 đến 2.0) thể hiện rất rõ ở hình 3.10.
Hình 3.9. Biểu diễn mối tương quan xác suất trả lời đúng câu hỏi 39 và năng lực HS (Đề 2)
Hình 3.10. Đồ thị biểu diễn hàm thông tin câu hỏi số 39 (Đề 2) 3.6.2.5. Tiêu chí P-value
P-value là độ tin cậy thống kê của độ phân biệt, giá trị P-value của các phương án đúng phải nhỏ hơn hoặc bằng 0.05 [21], [27].
Bảng 3.19. Bảng tiêu chí P-value (Đề 2)
Câu P-value Đánh giá Câu P-value Đánh giá
1 0 Tôt 21 0 Tôt
2 0 Tốt 22 0 Tốt
3 0 Tôt 23 0 Tôt
4 0 Tốt 24 0 Tốt
5 0 Tôt 25 0 Tôt
6 0 Tốt 26 0 Tốt
7 0 Tôt 27 0 Tôt
8 0 Tốt 28 0 Tốt
9 0 Tôt 29 0 Tôt
10 0 Tốt 30 0 Tốt
11 0 Tôt 31 0 Tôt
12 0 Tốt 32 0 Tốt
13 0 Tôt 33 0 Tôt
14 0 Tốt 34 0 Tốt
15 0 Tôt 35 0 Tôt
16 0 Tốt 36 0 Tốt
17 0 Tôt 37 0 Tôt
18 0 Tốt 38 0 Tốt
19 0 Tôt 39 0 Tôt
20 0 Tốt 40 0 Tốt
Kết quả từ bảng 3.19 cho thấy có 100% câu hỏi trong đề kiểm tra có giá trị P- value của phương án đúng nhỏ hơn 0.05, chứng tỏ độ tin cậy của đề kiểm tra cao.
3.6.2.6. Tiêu chí Mean ability
Mean ability là thang đo logarit năng lực của thí sinh đưa ra sự lựa chọn của mình.
Phương án trả lời đúng phải có Mean ability cao hơn các phương án trả lời sai [27].
Bảng 3.20. Bảng tiêu chí Mean ability (Đề 2)
Câu A B C D Phương án đúng Đánh giá
1 -0.7 -0.54 -0.89 0.16 D Tốt
2 -0.28 -0.44 0.14 -0.57 C Tốt
3 0.12 -0.26 -0.4 -0.1 A Tốt
4 -0.38 0.13 0 -0.4 B Tốt
5 0.25 -0.66 -0.76 -0.29 A Tốt
6 0.14 -0.21 -0.75 -0.01 A Tốt
7 -0.49 -0.41 0.19 0.06 C Tốt
8 -0.44 -0.08 -0.04 0.17 D Tốt
9 -0.1 0.16 -0.61 -0.07 B Tốt
10 -0.5 0.23 -0.31 -0.41 B Tốt
11 0.16 -0.09 -0.41 -0.17 A Tốt
12 0.2 -0.39 -0.25 -0.39 A Tốt
13 -0.48 -0.55 0.21 0.03 C Tốt
14 -0.4 -0.34 0.22 -0.21 C Tốt
15 -0.49 0.2 -0.93 -0.51 B Tốt
16 -0.08 -0.47 -0.18 0.22 D Tốt
17 -0.17 -0.22 0.32 -0.01 C Tốt
18 0.23 -0.13 -0.36 -0.13 A Tốt
19 -0.26 -0.21 -0.09 0.21 D Tốt
20 0.29 -0.29 -0.44 -0.24 A Tốt
21 -0.2 -0.25 0.21 -0.18 C Tốt
22 -0.28 0.23 -0.43 0 B Tốt
23 0.28 -0.28 -0.55 -0.14 A Tốt
24 0.27 -0.23 -0.53 -0.26 A Tốt
25 -0.08 0.23 -0.49 -0.17 B Tốt
26 -0.03 -0.28 -0.25 0.23 D Tốt
27 -0.09 -0.24 -0.35 0.3 D Tốt
28 -0.16 -0.32 -0.31 0.36 D Tốt
29 0.34 -0.2 -0.2 -0.3 A Tốt
30 -0.06 0.23 -0.36 -0.12 B Tốt
31 -0.23 -0.04 0.36 -0.29 C Tốt
32 0.36 -0.07 -0.26 -0.13 A Tốt
33 -0.21 -0.24 0.65 0.01 C Tốt
34 0.2 0.49 -0.08 -0.51 B Tốt
35 0.56 0.13 -0.13 -0.36 A Tốt
36 -0.19 -0.11 -0.14 0.46 D Tốt
37 0.31 -0.32 -0.19 0.1 A Tốt
Câu A B C D Phương án đúng Đánh giá
38 -0.25 -0.27 -0.09 0.72 D Tốt
39 -0.02 0.5 0.04 -0.38 B Tốt
40 -0.26 -0.23 0.01 0.4 D Tốt
Kết quả thu được từ bảng 3.20 ta thấy 100% câu hỏi trong đề kiểm tra có giá trị Mean ability của phương án đúng cao hơn các phương án trả lời sai, chứng tỏ đề kiểm tra này đánh giá được đúng năng lực làm bài của HS qua các câu hỏi kiểm tra.
3.6.2.7. Tiêu chí Error
Error là sai số trong tính toán, thông thường giá trị Error nhỏ hơn giá trị 0.2 [27].
Bảng 3.21. Bảng tiêu chí Error (Đề 2)
Câu Error Câu Error Câu Error Câu Error Câu Error
1 0.14 9 0.11 17 0.12 25 0.11 33 0.13
2 0.13 10 0.12 18 0.11 26 0.11 34 0.13
3 0.12 11 0.11 19 0.11 27 0.11 35 0.13
4 0.12 12 0.12 20 0.11 28 0.11 36 0.12
5 0.12 13 0.11 21 0.11 29 0.11 37 0.11
6 0.12 14 0.11 22 0.11 30 0.11 38 0.13
7 0.11 15 0.13 23 0.11 31 0.11 39 0.14
8 0.11 16 0.11 24 0.11 32 0.12 40 0.12
Từ kết quả thu được ở bảng 3.21, giá trị Error nằm trong khoảng từ 0.11 đến 0.14, như vậy có 100% câu hỏi trong đề kiểm tra có sai số dưới 0.2, vì vậy tất cả các câu hỏi đều đạt yêu cầu.