CHƯƠNG 3: PHÂN TÍCH, ĐÁNH GIÁ HỆ THỐNG CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN CHƯƠNG “SÓNG ÁNH SÁNG” NGHIỆM KHÁCH QUAN CHƯƠNG “SÓNG ÁNH SÁNG”
3.6. Phân tích câu hỏi theo các tiêu chí
3.6.1. Phân tích câu hỏi theo các tiêu chí đề kiểm tra số 1
Độ phân biệt của các câu hỏi giữa các nhóm HS nên nằm trong khoảng từ 0.25 đến 0.75 đối với các bài kiểm tra trong lớp học [32].
Bảng 3.6. Bảng tiêu chí độ phân biệt (Đề 1)
Câu Disc Câu Disc Câu Disc Câu Disc Câu Disc
1 0.33 9 0.26 17 0.25 25 0.39 33 0.37
2 0.34 10 0.31 18 0.23 26 0.43 34 0.32
3 0.26 11 0.3 19 0.34 27 0.31 35 0.26
4 0.31 12 0.34 20 0.42 28 0.44 36 0.32
5 0.31 13 0.23 21 0.34 29 0.22 37 0.4
6 0.34 14 0.42 22 0.37 30 0.33 38 0.35
7 0.34 15 0.42 23 0.32 31 0.43 39 0.33
8 0.27 16 0.26 24 0.39 32 0.29 40 0.43
Bảng 3.7. Bảng phân bổ độ phân biệt của các câu hỏi (Đề 1)
Độ phân biệt >0.75 >=0.25 <0.25 >0 <0 Min Mean Max
Số câu 0 37 3 40 0
0.22 0.33 0.44 Tỉ lệ (%) 0 92.50% 7.50% 100% 0
Từ bảng 3.6 và 3.7 ta thấy độ phân biệt (Disc) của 40 câu hỏi dao động trong khoảng từ 0.22 đến 0.44. Trong đó:
- Có 3 câu hỏi : 13, 18, 29 có độ phân biệt thấp (0<Disc<0.25) chiếm 7.50% trong tổng số 40 câu hỏi. Tuy nhiên độ phân biệt của 3 câu hỏi này vẫn lớn hơn giá trị 0.2 nên vẫn nằm trong khoảng chấp nhận được [28].
- Còn lại 37 câu hỏi chiếm tỉ lệ 92.50% có độ phân biệt cao, nằm trong khoảng từ 0.25 đến 0.75. Do đó, trong phạm vi kiểm tra tại lớp học đề kiểm tra này khá phù hợp.
3.6.1.2. Tiêu chí tỉ lệ phần trăm (Percent)
Bảng 3.8. Bảng tiêu chí tỉ lệ phần trăm các phương án trả lời (Đề 1) Câu
A (%)
B (%)
C (%)
D (%)
Phương án đúng
Độ khó p
Mức độ
Đánh giá
1 8.9 6.8 76.8 7.4 C 0.768 NB Tốt
2 9.5 68.9 12.9 8.7 B 0.689 NB Tốt
3 7.1 80.3 6.8 5.8 B 0.803 NB Tốt
4 5.5 77.4 9.5 7.6 B 0.774 NB Tốt
5 8.9 7.1 9.5 74.5 D 0.745 NB Tốt
6 63.9 12.4 14.2 9.5 A 0.639 NB Tốt
7 10.8 11.6 9.5 68.2 D 0.682 TH Tốt
8 20 17.1 22.4 40.5 D 0.405 TH Tốt
9 16.6 18.7 45 19.7 C 0.45 TH Tốt
10 53.2 13.9 13.4 19.5 A 0.532 TH Tốt
11 16.8 51.1 17.4 14.7 B 0.511 TH Tốt
12 58.4 12.1 16.1 13.4 A 0.584 TH Tốt
13 51.8 16.1 17.4 14.7 A 0.518 TH Tốt
14 11.1 16.1 13.2 59.7 D 0.597 TH Tốt
15 12.4 61.1 14.2 12.4 B 0.611 TH Tốt
16 17.9 11.6 17.4 53.2 D 0.532 TH Tốt
17 14.2 55 15 15.8 B 0.55 TH Tốt
18 16.6 45.3 22.1 16.1 B 0.453 VD Tốt
19 16.1 16.3 52.9 14.7 C 0.529 VD Tốt
20 12.9 12.9 62.9 11.3 C 0.629 VD Tốt
21 45.3 20 18.9 15.8 A 0.453 VD Tốt
22 16.3 16.1 54.2 13.4 C 0.542 VD Tốt
23 15 49.2 20.8 15 B 0.492 VD Tốt
24 16.1 47.9 18.4 17.6 B 0.479 VD Tốt
25 16.6 16.6 14.7 52.1 D 0.521 VD Tốt
26 53.2 18.4 13.9 14.5 A 0.532 VD Tốt
27 17.6 25.5 13.2 43.7 D 0.437 VD Tốt
28 16.6 16.8 18.4 48.2 D 0.482 VD Tốt
Câu
A (%)
B (%)
C (%)
D (%)
Phương án
đúng Độ khó p
Mức độ
Đánh giá
29 20.3 42.1 20.8 16.8 B 0.421 VD Tốt
30 41.6 23.2 18.9 16.3 A 0.416 VD Tốt
31 17.1 30.8 33.9 18.2 C 0.339 VD ĐYC
32 22.9 19.5 23.4 34.2 D 0.342 VD ĐYC
33 22.6 28.4 28.9 20 B 0.284 VDC Tốt
34 20.8 26.3 29.7 23.2 D 0.232 VDC Tốt
35 23.7 25.3 22.1 28.9 B 0.253 VDC Tốt
36 15.3 29.2 27.6 27.9 C 0.276 VDC Tốt
37 30 23.4 23.9 22.6 A 0.3 VDC Tốt
38 15.8 30 31.6 22.6 D 0.226 VDC Tốt
39 22.6 25.5 28.4 23.4 D 0.234 VDC Tốt
40 29.7 21.3 27.6 21.3 A 0.297 VDC Tốt
Từ bảng 3.8 ta có:
- Độ khó của các câu hỏi nằm trong khoảng từ 0.226 đến 0.803.
- Có 1 câu hỏi có độ khó lớn hơn 0.8 (Câu 3) là câu hỏi rất dễ và ở mức độ nhận biết; có 8 câu hỏi có độ khó nằm trong khoảng từ 0.6 đến 0.8 (Câu 1, 2, 4, 5, 6, 7, 15, 20) là các câu hỏi dễ; trong đó có các câu 1, 2, 4, 5, 6 được thiết kế ở mức độ nhận biết, câu 7, 15 ở mức độ thông hiểu và câu 20 ở mức độ vận dụng. Có 21 câu hỏi có độ khó nằm trong khoảng từ 0.4 đến 0.6 (Câu 8, 9, 10, 11, 12, 13, 14, 16, 17, 18, 19, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30) là các câu hỏi trung bình được thiết kế ở mức độ thông hiểu và vận dụng. Như vậy các câu hỏi đã nêu được thiết kế là phù hợp với mức độ yêu cầu của đề kiểm tra.
- Bên cạnh đó có 10 câu hỏi có độ khó nằm trong khoảng từ 0.2 đến 0.4 (Câu 31, 32, 33, 34, 35, 36, 37, 38, 39, 40) là các câu hỏi khó; trong đó có các câu 31, 32 được thiết kế ở mức độ vận dụng nhưng lại là các câu hỏi khó đối với nhóm thí sinh làm bài kiểm tra này, qua trao đổi với nhóm thí sinh làm bài kiểm tra thì hai câu hỏi này ở nội dung kiến thức về tia X và đa số các em chưa tìm hiểu kĩ về dạng bài tập này; còn lại các câu hỏi 33, 34, 35, 36, 37, 38, 39, 40 được thiết kế ở mức độ vận dụng cao nên độ khó như vậy là phù hợp.
3.6.1.3. Tiêu chí hệ số tương quan point biserial
Hệ số tương quan cho biết mối quan hệ giữa các phương án trả lời của câu hỏi.
Đối với những câu hỏi tốt thì hệ số tương quan cho thấy các phương án nhiễu có chỉ số âm là những câu nhiễu tốt và phương án đúng phải có chỉ số dương nhưng tốt nhất là nằm trong khoảng từ 0.25 đến 0.75 [11, 12, 21, 32].
Bảng 3.9. Bảng tiêu chí hệ số tương quan các phương án trả lời (Đề 1)
Câu A B C D Phương án đúng Đánh giá
1 -0.19 -0.16 0.33 -0.17 C Tốt
2 -0.13 0.34 -0.18 -0.22 B Tốt
3 -0.15 0.26 -0.12 -0.14 B Tốt
4 -0.08 0.31 -0.25 -0.14 B Tốt
5 -0.14 -0.19 -0.15 0.31 D Tốt
6 0.34 -0.19 -0.23 -0.07 A Tốt
7 -0.22 -0.15 -0.14 0.34 D Tốt
8 -0.14 -0.1 -0.09 0.27 D Tốt
9 -0.17 -0.11 0.26 -0.05 C Tốt
10 0.31 -0.12 -0.26 -0.06 A Tốt
11 -0.17 0.3 -0.13 -0.11 B Tốt
12 0.34 -0.19 -0.15 -0.16 A Tốt
13 0.23 -0.1 -0.14 -0.07 A ĐYC
14 -0.21 -0.29 -0.1 0.42 D Tốt
15 -0.25 0.42 -0.2 -0.17 B Tốt
16 -0.07 -0.17 -0.12 0.26 D Tốt
17 -0.08 0.24 -0.13 -0.14 B ĐYC
18 0.11 0.23 -0.21 -0.19 B ĐYC
19 -0.18 -0.18 0.34 -0.1 C Tốt
20 -0.22 -0.24 0.42 -0.16 C Tốt
21 0.34 -0.24 -0.17 -0.02 A Tốt
22 -0.05 -0.25 0.37 -0.22 C Tốt
23 -0.17 0.32 -0.02 -0.26 B Tốt
24 -0.3 0.39 -0.06 -0.16 B Tốt
25 -0.16 -0.15 -0.23 0.39 D Tốt
26 0.43 -0.27 -0.14 -0.17 A Tốt
27 -0.03 -0.19 -0.16 0.31 D Tốt
28 -0.13 -0.19 -0.26 0.44 D Tốt
29 -0.02 0.22 -0.24 0 B ĐYC
30 0.33 0.03 -0.32 -0.13 A Tốt
31 -0.19 -0.03 0.43 -0.31 C Tốt
32 -0.05 -0.14 -0.14 0.29 D Tốt
33 -0.11 0.36 -0.16 -0.12 B Tốt
34 0.06 -0.1 -0.25 0.31 D Tốt
35 -0.1 0.26 0.01 -0.16 B Tốt
36 -0.12 -0.16 0.32 -0.06 C Tốt
37 0.4 -0.21 -0.06 -0.17 A Tốt
38 -0.11 -0.03 -0.2 0.35 D Tốt
39 -0.21 -0.08 -0.04 0.33 D Tốt
40 0.43 -0.21 -0.16 -0.1 A Tốt
Từ bảng 3.9 cho thấy có 36 câu hỏi có các phương án nhiễu có giá trị âm và phương án đúng có giá trị từ 0.25 trở lên, như vậy đây là các câu hỏi tốt. Có 4 câu hỏi (Câu 13, 17, 18, 29) có các phương án nhiễu có chỉ số âm và phương án đúng có giá trị nằm trong khoảng từ 0.2 đến 0.25, đây là các câu hỏi đạt yêu cầu.
3.6.1.4. Tiêu chí ngưỡng để vượt qua Thresholds
Bảng 3.10. Bảng tiêu chí ngưỡng để vượt qua Thresholds (Đề 1)
Câu Thresholds Câu Thresholds Câu Thresholds Câu Thresholds
1 -1.36 11 -0.1 21 0.16 31 0.69
2 -0.94 12 -0.43 22 -0.24 32 0.67
3 -1.6 13 -0.13 23 -0.01 33 0.96
4 -1.4 14 -0.49 24 0.04 34 1.26
5 -1.23 15 -0.55 25 -0.14 35 1.14
6 -0.69 16 -0.19 26 -0.19 36 1.01
7 -0.89 17 -0.27 27 0.23 37 0.88
8 0.38 18 0.16 28 0.03 38 1.29
9 0.17 19 -0.18 29 0.3 39 1.25
10 -0.19 20 -0.63 30 0.33 40 0.9
Từ bảng 3.10 ta thấy chỉ số ngưỡng để vượt qua Thesholds của các câu hỏi nằm trong khoảng từ -1.6 đến 1.29. Trong đó có 19 câu hỏi có giá trị Threshold từ 0 đến 1.29 chiếm 47.5%, có 21 câu hỏi có giá trị Threshold từ -1.6 đến 0 chiếm 52.5%. Kết quả thu được từ sơ đồ 3.1 cho thấy năng lực thí sinh từ 0 đến 1.72 chiếm 53.95%, trong khi độ khó câu hỏi trong khoảng này là 47.5%; năng lực thí sinh từ -1.72 đến 0 chiếm 46.05%, trong khi đó độ khó trong khoảng này chiếm 52.5%. Như vậy bài kiểm tra tương đối phù hợp với năng lực của nhóm HS này, tuy nhiên để đánh giá tốt năng lực của nhóm HS này thì nên bổ sung thêm một số câu hỏi có độ khó từ mức 0 trở lên và giảm một số câu hỏi từ mức 0 trở xuống.
Kết quả thu được từ bảng 3.10 và từ sơ đồ 3.1 cho thấy câu 3 là câu hỏi dễ nhất (có độ khó delta bằng -1.6) nên xác suất trả lời đúng câu hỏi này rất cao thể hiện ở hình 3.3, và đánh giá tốt nhất đối với nhóm HS có năng lực thấp (vùng năng lực từ -2.0 đến -1.0) thể hiện rất rõ ở hình 3.4.
Hình 3.3. Biểu diễn mối tương quan xác suất trả lời đúng câu hỏi 3 và năng lực HS (Đề 1)
Hình 3.4. Đồ thị biểu diễn hàm thông tin câu hỏi số 3 (Đề 1)
Và câu hỏi số 38 là câu hỏi khó nhất (có độ khó delta bằng 1.29) nên xác suất trả lời đúng câu hỏi này rất thấp, thể hiện qua hình 3.5, và đánh giá tốt nhất nhóm HS có năng lực cao (vùng năng lực từ 1.0 đến 2.0) thể hiện rất rõ ở hình 3.6.
Hình 3.5. Biểu diễn mối tương quan xác suất trả lời đúng câu hỏi 38 và năng lực HS (Đề 1)
Hình 3.6. Đồ thị biểu diễn hàm thông tin câu hỏi số 38 (Đề 2) 3.6.1.5. Tiêu chí P-value
P-value là độ tin cậy thống kê của độ phân biệt, giá trị P-value của các phương án đúng phải nhỏ hơn hoặc bằng 0.05 [21], [27].
Bảng 3.11. Bảng tiêu chí P-value (Đề 1)
Câu P-value Đánh giá Câu P-value Đánh giá
1 0 Tôt 21 0 Tôt
2 0 Tốt 22 0 Tốt
3 0 Tôt 23 0 Tôt
4 0 Tốt 24 0 Tốt
5 0 Tôt 25 0 Tôt
6 0 Tốt 26 0 Tốt
7 0 Tôt 27 0 Tôt
8 0 Tốt 28 0 Tốt
9 0 Tôt 29 0 Tôt
10 0 Tốt 30 0 Tốt
11 0 Tôt 31 0 Tôt
12 0 Tốt 32 0 Tốt
13 0 Tôt 33 0 Tôt
14 0 Tốt 34 0 Tốt
15 0 Tôt 35 0 Tôt
16 0 Tốt 36 0 Tốt
17 0 Tôt 37 0 Tôt
18 0 Tốt 38 0 Tốt
19 0 Tôt 39 0 Tôt
20 0 Tốt 40 0 Tốt
Kết quả từ bảng 3.11 cho thấy có 100% câu hỏi trong đề kiểm tra có giá trị P- value của phương án đúng nhỏ hơn 0.05, chứng tỏ độ tin cậy của đề kiểm tra cao.
3.6.1.6. Tiêu chí Mean ability
Mean ability là thang đo logarit năng lực của thí sinh đưa ra sự lựa chọn của
mình. Phương án trả lời đúng phải có Mean ability cao hơn các phương án trả lời sai [27].
Bảng 3.12. Bảng tiêu chí Mean ability (Đề 1)
Câu A B C D Phương án đúng Đánh giá
1 -0.52 -0.51 0.09 -0.54 C Tốt
2 -0.36 0.12 -0.4 -0.6 B Tốt
3 -0.49 0.05 -0.41 -0.51 B Tốt
4 -0.31 0.07 -0.66 -0.44 B Tốt
5 -0.39 -0.59 -0.41 0.08 D Tốt
6 0.14 -0.46 -0.48 -0.23 A Tốt
7 -0.55 -0.38 -0.39 0.12 D Tốt
8 -0.28 -0.21 -0.18 0.19 D Tốt
9 -0.35 -0.24 0.16 -0.13 C Tốt
10 0.17 -0.28 -0.57 -0.15 A Tốt
11 -0.34 0.17 -0.26 -0.26 B Tốt
12 0.16 -0.43 -0.31 -0.37 A Tốt
13 0.11 -0.23 -0.3 -0.18 A Tốt
14 -0.51 -0.57 -0.25 0.21 D Tốt
15 -0.56 0.2 -0.42 -0.4 B Tốt
16 -0.18 -0.42 -0.26 0.13 D Tốt
17 -0.2 0.11 -0.29 -0.3 B Tốt
18 0.12 0.14 -0.35 -0.39 B Tốt
19 -0.38 -0.37 0.19 -0.24 C Tốt
20 -0.49 -0.52 0.19 -0.4 C Tốt
21 0.23 -0.42 -0.33 -0.09 A Tốt
22 -0.16 -0.48 0.21 -0.48 C Tốt
23 -0.37 0.19 -0.09 -0.52 B Tốt
24 -0.58 0.25 -0.15 -0.33 B Tốt
25 -0.33 -0.33 -0.47 0.24 D Tốt
26 0.25 -0.49 -0.32 -0.38 A Tốt
27 -0.12 -0.31 -0.38 0.22 D Tốt
28 -0.28 -0.39 -0.47 0.29 D Tốt
29 -0.1 0.15 -0.42 -0.06 B Tốt
30 0.24 -0.02 -0.56 -0.28 A Tốt
31 -0.38 -0.09 0.4 -0.56 C Tốt
32 -0.13 -0.28 -0.25 0.25 D Tốt
33 -0.21 0.38 -0.24 -0.23 B Tốt
34 0.04 -0.18 -0.35 0.38 D Tốt
35 -0.19 0.29 -0.05 -0.25 B Tốt
36 -0.28 -0.25 0.34 -0.13 C Tốt
Câu A B C D Phương án đúng Đánh giá
37 0.41 -0.34 -0.14 -0.29 A Tốt
38 -0.25 -0.09 -0.28 0.44 D Tốt
39 -0.36 -0.16 -0.1 0.41 D Tốt
40 0.45 -0.36 -0.25 -0.21 A Tốt
Kết quả thu được từ bảng 3.12 ta thấy 100% câu hỏi trong đề kiểm tra có giá trị Mean ability của phương án đúng cao hơn các phương án trả lời sai, chứng tỏ đề kiểm tra này đánh giá được đúng năng lực làm bài của HS qua các câu hỏi kiểm tra.
3.6.1.7. Tiêu chí Error
Error là sai số trong tính toán, thông thường giá trị Error nhỏ hơn giá trị 0.2 [27].
Bảng 3.13. Bảng tiêu chí Error (Đề 1)
Câu Error Câu Error Câu Error Câu Error Câu Error
1 0.13 9 0.11 17 0.11 25 0.11 33 0.12
2 0.12 10 0.11 18 0.11 26 0.11 34 0.13
3 0.14 11 0.11 19 0.11 27 0.11 35 0.12
4 0.13 12 0.11 20 0.11 28 0.11 36 0.12
5 0.12 13 0.11 21 0.11 29 0.11 37 0.12
6 0.11 14 0.11 22 0.11 30 0.11 38 0.13
7 0.12 15 0.11 23 0.11 31 0.12 39 0.13
8 0.11 16 0.11 24 0.11 32 0.11 40 0.12
Từ kết quả thu được ở bảng 3.13, giá trị Error nằm trong khoảng từ 0.11 đến 0.14, như vậy có 100% câu hỏi trong đề kiểm tra có sai số dưới 0.2, vì vậy tất cả các câu hỏi đều đạt yêu cầu.