การพัฒนาแบบวัด 36 ข้อในนักศึกษาปริญญาตรีอินโดนีเซีย 257 คน ใช้ผู้เชี่ยวชาญสามคน การทดลองนำร่อง และ Rasch analysis พบความเชื่อมั่นเชิงประจักษ์ระดับปานกลาง แม้ตัวชี้วัดตามแบบจำลองบางส่วนสูงกว่า มีข้อคำถามที่ไม่พอดีและ residual PCA บ่งชี้มิติรอง ผลชี้ว่าการคิดเชิงวิพากษ์ในการเขียนอาจประกอบด้วยองค์ประกอบทางปัญญา ภาษา และวัฒนธรรม ไม่ควรรวมเป็นคะแนนเดียวโดยไม่ตรวจสอบ
ข้อค้นพบสำคัญ
- ความเชื่อมั่นจากข้อมูลจริงอยู่ระดับปานกลาง ขณะที่ค่าตามแบบจำลองสูงกว่า บางข้อมี misfit และ residual PCA แสดงความเป็นไปได้ของโครงสร้างหลายมิติ ผู้วิจัยจึงเสนอว่าความสามารถเขียนเชิงวิพากษ์ไม่ได้เป็นคุณลักษณะเดี่ยวที่เป็นอิสระจากภาษาและวัฒนธรรม
ทำไมจึงมีความสำคัญระดับโลก
ผลเตือนผู้พัฒนาแบบประเมินนานาชาติให้ตรวจความเท่าเทียมของข้อคำถามและโครงสร้างมิติ ก่อนใช้คะแนนตัดสินผลการเรียนหรือเปรียบเทียบสถาบัน โดยเฉพาะผู้เรียนภาษาอังกฤษเป็นภาษาต่างประเทศ
บทบาทของนักวิจัยไทย
Aleeyah Masae จากมหาวิทยาลัยราชภัฏยะลาร่วมงานด้านการวัดผลภาษาและการเขียนกับทีมอินโดนีเซีย ผู้เข้าร่วมไม่ได้มาจากไทย จึงต้องตรวจความตรงข้ามวัฒนธรรมก่อนใช้ในมหาวิทยาลัยไทย
ข้อจำกัดที่ควรรู้
ตัวอย่างจากมหาวิทยาลัยเดียวและคัดเลือกแบบเจาะจง ไม่ได้รายงานการทดสอบกับงานเขียนจริงหรือผลสัมฤทธิ์ภายนอกในบทคัดย่อ และยังไม่มี differential item functioning ระหว่างเพศ ภาษา สถาบัน หรือประเทศ