Chương 6 TRẮC NGHIỆM KHÁCH QUAN TRONG KIỂM TRA
8. Quy trình xây dựng bộ câu hỏi trắc nghiệm MCQ
Giai đoạn đầu tiên và quan trọng nhất là xác định các mục tiêu bài học về kiến thức, kỹ năng, thái độ mà chúng ta mong HS đạt được hay thể hiện được vào cuối một bài, một chương hay chương trình giảng dạy. Chú ý rằng điều quan trọng là HS biết gì, có thể làm gì, nghĩ gì, chứ không phải GV hay người khác muốn gì. Chỉ khi nào mục tiêu dạy học được xác định rõ ràng, thì việc lập kế hoạch xây dựng và kế hoạch thử nghiệm kiểm định giá trị câu hỏi mới có thể tiến hành được. Mặt khác, khi căn cứ vào
63
mục tiêu dạy học đặt ra, ta mới xác định được thang độ của các chỉ tiêu cần đạt được khi xây dựng. Đó là: độ khó, độ phân biệt bằng bao nhiêu thì đạt yêu cầu sử dụng,…
Bước 2: Phân tích nội dung để xây dựng bảng trọng số
* Phân tích nội dung
Phân tích nội dung môn học giúp định trước những việc cần phải làm và khi làm việc sẽ không bị lệch lạc sai hỏng. Phân tích nội dung môn học để xác định số lượng câu hỏi phải tương xứng với nội dung kiến thức đồng thời phải tương xứng với thời lượng phân bố cho từng nội dung. Có như vậy mới đảm bảo cái cần đo, đánh giá được cái cần đánh giá. Mặt khác, các câu hỏi cần đo được đúng mức độ mà nó phải đo, tức đo được nhiều mức độ nhận thức khác nhau: nhớ, hiểu, vận dụng,… Các mức độ này cũng cần có sự định rõ và phân bố cụ thể, hợp lý ở những nội dung kiến thức nhất định. Việc lập kế hoạch phân tích kỹ lưỡng sẽ tránh được việc xây dựng ra các câu hỏi có nội dung vụn vặt, đơn giản, chỉ đo được những mức độ nhận thức thấp như: ghi nhớ, tái hiện.
Phân tích nội dung nhằm tìm ra những nội dung chính của chương trình. Đó là:
+ Những thông tin mang tính chất sự kiện mà học sinh phải ghi nhớ hay nhận ra.
+ Những khái niệm và ý tưởng mà HS phải giải thích hay minh họa.
+ Những ý tưởng phức tạp cần được giải thích hay giải nghĩa.
+ Những thông tin, ý tưởng và kỹ năng cần được ứng dụng hay chuyển dịch vào một tình huống hay hoàn cảnh mới.
Như vậy công việc phân tích nội dung là tìm ra những ý tưởng chính yếu của môn học, lựa chọn những từ và những nhóm chữ mà HS phải giải nghĩa được. Để HS có thể giải thích, giải nghĩa được thì người soạn câu TN phải tìm ra những khái niệm quan trọng trong nội dung chương trình để đem ra khảo sát trong các câu TN. Người soạn câu TN cần lựa chọn một số thông tin và ý tưởng đòi hỏi HS phải có khả năng ứng dụng những điều đã biết để giải quyết vấn đề trong những tình huống mới.
* Xây dựng bảng trọng số của bài trắc nghiệm
Bảng trọng số thể hiện: mục tiêu của từng phần và của toàn bài trắc nghiệm.
Đối với bài TN thành quả học tập: để phân bổ trọng số, cần dựa vào mục tiêu của môn học và xác định rõ phần kiến thức nào là cốt lõi, phần nào là bổ trợ còn phần nào chỉ là nhắc lại, phần kiến thức nào là dùng để tiếp thu các môn học sau, phần nào là dùng để mở rộng…
Bước 3: Soạn thảo các câu hỏi trắc nghiệm
- Việc thiết kế các câu hỏi cần bám sát mục tiêu, dựa vào phần phân tích nội dung và bảng trọng số để soạn thảo các câu TN. Tuy nhiên, để có lượng câu hỏi theo đúng kế hoạch đặt ra, khi soạn thảo cần xây dựng một lượng câu hỏi nhiều hơn thế, việc kiểm
64
định câu hỏi qua thực nghiệm sẽ giúp ta chọn được những câu hay nhất, đạt yêu cầu nhất, loại bỏ những câu không đạt yêu cầu mà vẫn đảm bảo được tính liên tục hệ thống của nội dung đánh giá.
- Khi soạn thảo các câu hỏi, người soạn luôn tự hỏi soạn câu ấy để làm gì, đánh giá được mức trí lực nào, độ khó áng chừng cỡ bao nhiêu phần trăm thí sinh trả lời được. HS phải mất bao nhiêu thời gian trả lời câu hỏi ấy…
- Khi soạn xong, phải rà soát lại nhiều lần, nhằm tránh những sai sót chủ quan. Với những câu hỏi có vướng mắc về nội dung cần có sự trao đổi với các nhà chuyên môn để đảm bảo các tiêu chuẩn của một câu hỏi như toàn bộ các câu hỏi.
Bước 4: Thực nghiệm kiểm định các câu hỏi
* Phân tích câu hỏi trắc nghiệm MCQ
Một trong những lợi thế của việc sử dụng các câu MCQ là việc thống kê và xử lý các bài trắc nghiệm một cách dễ dàng (đặc biệt là khi chấm điểm bằng máy tính). Các thông số xác định chất lượng của các câu trắc nghiệm bao gồm độ phân biệt D (discrimination) và độ khó F (facility or difficulty).
Phân tích các câu trả lời của thí sinh trong một bài trắc nghiệm là việc làm rất cần thiết và hữu ích, vì nó giúp cho người soạn thảo: (i) Biết được mức độ khó của các câu trắc nghiệm; (ii) Lựa ra các câu có chỉ số D cao, nghĩa là phân biệt được các học sinh giỏi và kém; (iii) Biết được lý do vì sao câu trắc nghiệm không đạt hiệu quả như mong muốn và cần phải sửa đổi như thế nào cho tốt hơn.
Để phân tích câu trắc nghiệm, ta tuần tự thực hiện các công việc như sau:
(1) Sắp xếp bảng trả lời của n thí sinh theo thứ tự điểm số từ cao đến thấp.
(2) Từ bảng điểm này ta chọn lấy hai nhóm: 27% số bài có điểm số cao nhất (tốp trên) và 27% số bài có điểm số thấp nhất (tốp dưới).
(3) Thống kê và tính các chỉ số khó và phân biệt đối với từng câu của bài trắc nghiệm bằng cách sau đây:
- Ghi số lần (tần số) trả lời của học sinh trong mỗi nhóm cao và thấp cho mỗi lựa chọn của từng câu trắc nghiệm.
- Cộng số câu trả lời đúng của cả hai nhóm rồi chia cho số bài của hai nhóm gộp lại. Biểu thị thương số này bằng phần trăm, nghĩa là nhân nó với 100, ta được kết quả là chỉ số khó F của câu hỏi đó.
- Lấy tần số người làm đúng trong nhóm cao trừ số người làm đúng trong nhóm thấp, rồi chia hiệu số này cho 27% tổng số thí sinh dự thi. Kết quả thương số thu được này chính là chỉ số phân biệt D của câu hỏi đó.
*Chỉ số độ phân biệt (D) so sánh số lượng các câu trả lời đúng đối với một câu
65
hỏi lấy từ 27% thuộc tốp trên và 27% thuộc tốp dưới của lớp học (dựa vào điểm số của toàn bài trắc nghiệm). Nếu như đối với bất kỳ câu nào mà con số các trả lời đúng từ các em thuộc 27% của tốp dưới đối với toàn bài trắc nghiệm mà lớn hơn con số từ các em nằm trong 27% của tốp trên, thì câu đó được coi là không phân biệt một cách hiệu quả giữa các học sinh. Công thức tính chỉ số phân biệt (D) của một câu hỏi cụ thể được giản lược như sau:
n T D C
27 , 0
= −
Trong đó: C là số lần trả lời đúng câu hỏi của tốp trên, T là số số lần trả lời đúng câu hỏi của tốp dưới,
n là tổng số thí sinh dự thi (0,27n chính là 27% tổng số).
Thang đánh giá độ phân biệt (-1≤ D ≤1) được quy ước bởi các chuyên gia, giúp ta chọn lựa các câu trắc nghiệm tốt dùng ở lớp học như sau:
D < 0: không đạt yêu cầu (loại bỏ).
0 ≤ D < 0,2: Kém, cần loại bỏ hoặc điều chỉnh.
0,2 ≤ D < 0,3: Tạm được, có thể phải sửa đổi để hoàn thiện thêm.
0,3 ≤ D < 0,4: Khá tốt, nhưng có thể làm cho tốt hơn.
0,4 ≤ D ≤ 1,0: Rất tốt.
*Độ khó (F) là tỷ lệ phần trăm của lớp học trả lời đúng cho một câu hỏi. Nói chung:
• nếu F < 30% câu hỏi đó được xem là khó.
• nếu F = 30-75% câu hỏi đó được xem là thoả mãn.
• nếu F > 75% câu hỏi đó được xem là dễ.
Việc xem xét chấp nhận các câu hỏi đưa ra là khó hay không phần lớn do người ra đề nhận định. Một câu khó có độ phân biệt cao có thể hữu ích khi xếp vị thứ của các học sinh. Một câu dễ có độ phân biệt thấp thì có thể bỏ qua và cũng có thể xem xét để sử dụng trong một kiểu đánh giá khác. Các câu có độ phận biệt và độ khó chấp nhận được cần giữ lại để dùng sau này. Bằng cách đó, qua một thời gian ta có thể xây dựng được một ngân hàng các câu hỏi trắc nghiệm được chọn lọc ngẫu nhiên dùng cho các bài trắc nghiệm.
* Sơ lược về sự đánh giá chất lượng một bài trắc nghiệm MCQ
Chất lượng của một bài trắc nghiệm hoàn thiện như thế được đo bằng độ giá trị (validity, ký hiệu là v) và độ tin cậy (reliability, ký hiệu là r) của nó. Độ giá trị (v) của các bài trắc nghiệm do người thầy thiết lập được xác định thông qua nội dung và các mục tiêu của giáo trình, trong việc xác định độ giá trị bài trắc nghiệm đó thì nội dung và
66 các mục tiêu phải trùng khớp nhau.
Về mặt hiệu quả, độ tin cậy (r) là xác suất để cho điểm số như nhau trên một bài trắc nghiệm sẽ đạt được khi ta lặp lại bài trắc nghiệm đó với số lượng học sinh giống như thế hoặc tương đương, hoặc khi bài trắc nghiệm đó được một người kiểm tra khác chấm điểm. Các trị số thống kê này (tức hệ số tương quan r) biến thiên từ 0 đến 1; khi một trị số là 0,7 hoặc lớn hơn nói chung là chấp nhận được. Các bài trắc nghiệm khách quan nói chung có độ tin cậy cao hơn các bài tự luận, chủ yếu là do tính khách quan trong sự chấm bài và cho điểm.
• Cho đến nay, công thức thông dụng căn bản để ước tính hệ số tin cậy (r) là của Kuder−Richardson (K.R.) được đưa ra từ năm 1937. Thường để cho dễ tính toán, người ta áp dụng công thức số 20 của K−R:
−
= − ∑
1 2
1 σ
pq K
r K
trong đó K là số câu trắc nghiệm; p là tỷ lệ số câu trả lời đúng cho một câu (tức là độ khó F); q là tỷ lệ số câu trả lời sai cho một câu (q = 1 − p); và σ2 là biến lượng các tổng điểm của các cá nhân đối với toàn bài trắc nghiệm.
Trong trường hợp các câu trắc nghiệm không quá khác biệt nhau về độ khó (F, ở đây là p), ta có thể ước lượng gần đúng ∑pq bằng cách tính điểm trung bình (M) và biến lượng σ2 của bài trắc nghiệm có K câu. Khi đó ta áp dụng công thức số 21 của K−R, như sau:
−
− −
= (1 2 )
1 1 σ K
M M
K r K
Chẳng hạn, với K = 100, σ2 = 225 và M = 50, ta tính được r=0,898.
• Cần nhớ lại rằng, công thức tính điểm trung bình (M hay x) và độ lệch chuẩn (s.d hay σ) mà từ đó ta biết được biến lượng hay phương sai σ2, như sau:
M = Σx ⁄n trong đó: n là số thí sinh dự thi của lớp
) 1 (
)
( 2
2
−
= ∑ − ∑
n n
x n x
σ
• Tóm lại, độ giá trị nói lên tính chính xác của một tập hợp các điểm số trắc nghiệm trong việc đo lường bất cứ cái gì mà nó muốn đo lường; còn độ tin cậy nói lên tính vững chãi của một tập hợp các điểm số trắc nghiệm trong việc đo lường bất cứ cái gì mà nó muốn đo lường.
Để cho một bài trắc nghiệm có giá trị, thì nó cũng phải đáng tin cậy. Không thể nào
67
một bài trắc nghiệm có giá trị mà lại không đáng tin cậy. Ngược lại, một bài trắc nghiệm đáng tin cậy không nhất thiết là phải có giá trị. Vì vậy, trong việc phân tích chất lượng của một bài trắc nghiệm về thành quả học tập, người ta thường nhấn mạnh chủ yếu trước hết vào độ tin cậy của các điểm số.
Vậy độ tin cậy gia tăng trong những điều kiện hay trường hợp nào?
Độ tin cậy (r) tăng lên cùng với độ dài của bài trắc nghiệm và nếu như nó bao gồm được các câu hỏi có các trị số phân biệt cao. Những lời hướng dẫn (làm bài trắc nghiệm) và các câu hỏi phải thật rõ ràng (để tránh cho học sinh khỏi nhầm lẫn) sẽ làm tăng thêm độ tin cậy của bài trắc nghiệm. Tuy nhiên, độ tin cậy cao không hề ngụ ý độ giá trị cao.