ระบบเชื่อม RAG กับ Odoo ผ่าน Chainlit, FastAPI และ API ผ่านคำถามทดสอบคงที่ 17–19 จาก 20 ข้อในสามกรอบประเมิน ขณะที่ SUS จากผู้ใช้ 3 คนอยู่ที่ 66.67
ข้อค้นพบสำคัญ
- อัตราผ่านอยู่ที่ 95% หรือ 19/20, 90% หรือ 18/20 และ 85% หรือ 17/20 คะแนนผู้เชี่ยวชาญเฉลี่ย 3.82 ความพึงพอใจผู้ใช้ 4.33 และ SUS 66.67 ซึ่งอยู่รอยต่อ acceptable/good แต่ข้อใช้งานอิสระได้ 2.33 และต้องการผู้เชี่ยวชาญช่วย 2.67
ทำไมจึงมีความสำคัญระดับโลก
งานแสดงแนวทางลดความซับซ้อน ERP ด้วยภาษาธรรมชาติและการอ้างอิงข้อมูลจริง ซึ่งมีศักยภาพต่อ SME ที่ขาดผู้เชี่ยวชาญระบบ แต่ความถูกต้องและสิทธิการเข้าถึงต้องมาก่อนความสะดวก
บทบาทของนักวิจัยไทย
ทีมมหาวิทยาลัยขอนแก่นออกแบบและประเมินต้นแบบใน SME ไทย เชื่อมงานวิจัย RAG กับระบบปฏิบัติการธุรกิจจริง
ข้อจำกัดที่ควรรู้
เป็นองค์กรเดียว คำถามคงที่ 20 ข้อ ผู้ใช้ 3 คนและผู้เชี่ยวชาญ 5 คน ไม่มี baseline เวลา/ข้อผิดพลาดก่อนใช้หรือการทดสอบระยะยาว ยังต้องประเมิน hallucination, prompt injection, permission leakage, privacy และต้นทุน