Có nên vui mừng vì kết quả thi PISA của học sinh Việt Nam ?

Các nhà quản lí giáo dục và quan chức giáo dục có lẽ rất vui mừng và bất ngờ trước kết quả của PISA cho thấy học sinh Việt Nam là một trong những “ngôi sao” về toán và khoa học trên thế giới, theo cách đánh giá và xếp hạng của PISA. Nhưng tôi thì nghĩ không có cách xếp hạng nào là hoàn hảo cả, và phương pháp của PISA càng có nhiều vấn đề về thống kê. Những vấn đề này có thể làm lệch kết quả xếp hạng. Không nên vội vàng vui mừng với kết quả của PISA! 

Có nên quá tự hào với kết quả thi PISA ?

Nếu không hiểu được phương pháp thống kê của PISA thì rất khó đánh giá độ tin cậy của kết quả. Mà, hiểu được thì có lẽ người ta sẽ dè dặt hơn trong việc diễn giải kết quả xếp hạng của PISA. Những vấn đề của PISA làm tôi quan tâm và dè dặt là cách họ lấy mẫu và nhất là phương pháp thống kê. Ở đây, tôi có vài ghi chú nhanh sau khi đọc qua báo cáo của họ. 

Trước hết là vấn đề lấy mẫu. PISA cho biết mỗi quốc gia họ lấy mẫu tối thiểu là 4500 học sinh tuổi 15 (dĩ nhiên nước nhỏ như Iceland thì số học sinh ít hơn). Một vài nơi như Úc thì số học sinh lên đến 30,000 em. Theo nguyên tắc thì học sinh xuất thân từ nhiều thành phần kinh tế xã hội khác nhau, nhưng tôi không thấy họ hiệu chỉnh kết quả cho những khác biệt về thành phần kinh tế xã hội. Nếu không hiệu chỉnh cho yếu tố này thì khác biệt giữa các nước là có thể do thành phần kinh tế chứ chẳng phải do khả năng của học sinh.

VN có thể có hạng cao nếu VN chỉ chọn học sinh từ thành thị và một phần nhỏ từ nông thôn. Đây cũng là một điểm yếu mà rất nhiều nhà nghiên cứu giáo dục chỉ ra trong quá khứ. Với một cỡ mẫu lớn như thế thì một khác biệt cho dù chỉ 1 đơn vị (hay 1 điểm) vẫn có thể xem là “có ý nghĩa thống kê” (statistically significant) nhưng trong thực tế thì có thể chỉ là khác biệt ngẫu nhiên mà thôi. 

Kế đến là vấn đề "response rate" khá nghèo nàn. Mỗi học sinh tiêu ra 3 giờ trong chương trình test. Nhưng không phải em nào cũng làm tất cả câu hỏi. Theo một báo cáo trước đây thì học sinh tham gia chương trình test của PISA chỉ trả lời một số câu hỏi mà thôi. Chỉ có phân nửa học sinh trả lời bất cứ một câu hỏi nào về đọc, trong khi đó 40% học sinh chỉ được kiểm định 14 trong số 28 câu hỏi về đọc. Do đó, chỉ có ~10% học sinh tham gia chương trình test được kiểm định tất cả 28 câu hỏi.

Vấn đề quan trọng hơn là phương pháp thống kê. Trong tình huống "missing data" như thế, các nhà phân tích của PISA làm gì? Họ sử dụng một mô hình thống kê có tên là Rasch (rất khó giải thích trong bài này, nhưng nó xuất phát từ nhà tâm lí học tên là Georg Rasch), với giả định rằng 5 giá trị cho mỗi học sinh được xác định bằng một xác suất hậu định (posterior probability).

Vấn đề của mô hình Rasch là nó giả định rằng độ khó khăn của câu hỏi và khoảng cách về khó khăn trong mỗi câu trả lời là đồng đều nhau giữa các nước. Giả định này rất "mạnh" (hiểu theo nghĩa thiếu tính thực tế), bởi vì câu trả lời hay khả năng trả lời có thể còn tuỳ thuộc vào văn hoá của từng nước. Nói tóm lại, mô hình Rasch có nhiều điều cần phải bàn thêm, chứ không hẳn là mô hình tối ưu nhất trong trường hợp có quá nhiều câu hỏi bỏ trống. 

Ngoài ra, họ sử dụng một phương pháp thống kê khác có tên là imputation để lấp vào những câu hỏi mà học sinh bỏ trống. Đây là một phương pháp nguy hiểm vì nó tuỳ thuộc vào những câu trả lời mà các em học sinh đã nỗ lực trong test. Trong các công trình nghiên cứu quan trọng rất ít ai dám ứng dụng phương pháp imputation vì nó có thể dẫn đến sai lệch nghiêm trọng. Đó là một cách mô phỏng dữ liệu (hay có người xem là “nhân tạo” dữ liệu). Trong thực tế một giáo sư y khoa đã đi tù vì ông sử dụng phương pháp này để có bài báo khoa học và xin được tài trợ từ NIH! Ông giáo sư này chỉ theo dõi 1 hay 2 phụ nữ trước và sau mãn kinh, phần 20 người còn lại ông không theo dõi được nên dùng phương pháp imputation. Nói như thế để thấy phương pháp này chưa được cộng đồng khoa học chấp nhận. 

Theo tôi thì kết quả PISA có thể xem là thú vị và chỉ dừng ở đó, chứ không nên dựa vào đó mà đánh giá học sinh VN hơn ai (hay kém ai). Khi chưa có thông tin về cách chọn mẫu ở VN và thành phần học sinh thì mọi kết quả phải đặt trong vòng nghi ngờ lành mạnh.

Trong khoa học có câu “garbage in, garbage out” (số liệu đầu vào là rác thì kết quả đầu ra cũng chỉ là rác). Với “căn bệnh thành tích” kinh niên ở VN thì mọi số liệu đều đáng nghi ngờ vì nó đã qua một qui trình tuyển chọn có hệ thống, mà cho dù tuyển chọn ngẫu nhiên đi nữa thì qui trình “xào nấu” bằng phương pháp của PISA cũng đủ để chúng ta đặt câu hỏi. Xin nhớ cho rằng: trong khoa học, BẤT CỨ kết quả nào quá đẹp cũng đều đáng nghi ngờ.

GS Nguyễn Văn Tuấn

(ĐH New South Wales, Úc)