Chấm thi: tổ chức thế nào để điểm nhất quán giữa các người chấm

Với các bài thi trắc nghiệm, điểm là khách quan. Với bài tự luận, bài thực hành, bài trình bày — điểm phụ thuộc vào người chấm, và mức phụ thuộc đó thường lớn hơn người ta nghĩ.

Đây không phải vấn đề về sự trung thực của giám khảo. Đó là vấn đề về cách tổ chức việc chấm.

Vì sao điểm lệch

Năm nguyên nhân:

Đáp án không đủ chi tiết. Thang điểm ghi "trình bày đầy đủ: 2 điểm" để mỗi người hiểu "đầy đủ" một kiểu.

Mức chuẩn của mỗi người khác nhau. Người chấm chặt và người chấm rộng cùng nhất quán với chính mình nhưng lệch nhau.

Mệt. Bài chấm ở cuối buổi được chấm khác bài đầu buổi — đây là hiệu ứng đã được ghi nhận nhiều lần.

Ảnh hưởng của bài trước. Một bài trung bình đọc ngay sau một bài rất kém sẽ được chấm cao hơn thực tế.

Thông tin ngoài bài làm — chữ viết, cách trình bày, và nếu biết danh tính thì cả những gì biết về người làm.

Chấm thử và thống nhất trước

Đây là bước hiệu quả nhất và nó mất một buổi.

Bốn bước:

Chọn khoảng mười bài làm đa dạng về chất lượng.

Mọi giám khảo chấm độc lập cùng mười bài đó.

So kết quả và bàn các chỗ lệch. Đây là phần có giá trị nhất — nó cho thấy đáp án đang mơ hồ ở đâu.

Chỉnh lại đáp án cho rõ, và giữ lại các bài mẫu đã thống nhất làm mốc tham chiếu trong suốt đợt chấm.

Bộ bài mẫu này quan trọng: khi không chắc, giám khảo đối chiếu với một bài đã được cả nhóm thống nhất — thay vì dựa vào cảm nhận của riêng mình.

Viết đáp án cho đúng

Bốn nguyên tắc:

Nêu rõ ý nào được điểm và bao nhiêu, không để tổng điểm cho cả câu.

Nêu các cách trả lời đúng khác nếu câu hỏi cho phép nhiều cách. Đáp án chỉ có một cách làm giám khảo lúng túng với các bài làm khác hướng nhưng vẫn đúng.

Mô tả mức chất lượng bằng từ quan sát được. "Nêu được ba nguyên nhân và giải thích ít nhất hai" thay vì "hiểu tốt vấn đề".

Nêu cách xử lý các tình huống hay gặp — bài thiếu bước, bài đúng kết quả sai cách làm, bài trình bày lộn xộn nhưng đủ ý.

Tổ chức đợt chấm

Sáu việc:

Chấm hai vòng độc lập với các kỳ thi quan trọng — hai người chấm không biết điểm của nhau, chênh quá ngưỡng thì có người thứ ba.

Che thông tin cá nhân.

Chấm theo câu, không theo bài. Một người chấm câu một của tất cả các bài, rồi mới sang câu hai. Cách này giữ chuẩn nhất quán tốt hơn nhiều và cũng nhanh hơn.

Giới hạn thời lượng mỗi buổi và có nghỉ giữa các đợt.

Xáo thứ tự bài giữa các vòng chấm.

Có người điều phối để giải đáp các tình huống phát sinh — và ghi lại các quyết định đó để áp dụng thống nhất cho mọi bài sau.

Theo dõi chất lượng chấm

Bốn phép kiểm, làm trong lúc đang chấm chứ không đợi xong:

So phân bố điểm của từng giám khảo. Ai cho điểm trung bình cao hơn hoặc thấp hơn hẳn nhóm thì cần trao đổi.

Đo mức chênh giữa hai vòng chấm. Tỷ lệ bài phải chấm lần ba là một chỉ số về độ rõ của đáp án.

Cắm bài kiểm tra. Đưa lại một số bài đã chấm vào giữa đợt xem giám khảo có cho điểm nhất quán với chính mình không.

So điểm đầu buổi với điểm cuối buổi của cùng một người.

Với bài thực hành và bài trình bày

Ba điểm khác biệt cần xử lý:

Không chấm lại được. Nên phải quay lại hoặc có nhiều người chấm cùng lúc.

Nhiều người cùng chấm thì không được bàn trong lúc chấm — chấm độc lập rồi mới đối chiếu, vì nếu không thì ý kiến người có uy tín nhất sẽ định khung cho cả nhóm.

Thứ tự trình bày ảnh hưởng tới điểm. Người trình bày đầu thường bị chấm chặt hơn vì giám khảo chưa có mốc so sánh. Cách giảm: có một hai lượt thử không tính điểm trước khi bắt đầu.

Sau đợt chấm

Ba việc nên làm và chúng cải thiện đợt sau:

Ghi lại các quyết định về đáp án đã đưa ra trong đợt, đính kèm đáp án gốc.

Ghi lại các câu hỏi gây tranh cãi nhiều nhất — chúng cần sửa trước khi dùng lại.

Xem phân bố điểm cuối cùng và đối chiếu với kỳ vọng. Lệch nhiều thì tìm nguyên nhân trước khi công bố — có thể do đề, do chấm, hoặc do chính nhóm thí sinh năm đó.