Thai University RankingsRESEARCH RADAR
← กลับฐานข้อมูลงานวิจัย
มีศักยภาพระดับโลก

A PRACTICAL FRAMEWORK FOR EVALUATING AI CHATBOTS IN NON-ENGLISH DRUG INFORMATION SERVICES

A PRACTICAL FRAMEWORK FOR EVALUATING AI CHATBOTS IN NON-ENGLISH DRUG INFORMATION SERVICES

สัญญาณผลกระทบ85/100
01

ข้อมูลจากบทคัดย่อ

ยังไม่มีสรุปภาษาไทยสำหรับระเบียนนี้
ด้านล่างเป็นบทคัดย่อต้นฉบับภาษาอังกฤษจากข้อมูลบรรณานุกรม โปรดตรวจบทความต้นฉบับก่อนอ้างอิง

Artificial intelligence, particularly AI-based chatbots, has gained increasing attention as a tool to support pharmacists in providing drug information services, especially in settings with pharmacist shortages. This study compared the competencies of ChatGPT, ChatGPT Pro, Perplexity, and Perplexity Pro in responding to drug-related clinical questions, and examined the effect of an Enhanced Task Translation (ETT) technique on chatbot performance, after English technical terms were embedded with Thai-language prompts. An experimental comparative design was employed. Two sets of Thai-language multiple-choice questions (MCQs), each comprising 120 items based on the Thai Pharmacy Licensing Examination, were administered: one standard set and one ETT set. Cardiology-focused clinical case scenarios were additionally presented using a SOAP-note format. Performance was assessed using a rubric adapted from the American Society of Health-System Pharmacists (ASHP) guidelines across four domains: question classification, source citation, evidence application, and communication. All four chatbots surpassed the 60% passing threshold: 72.08–83.33% for the standard set and 73.75–80.83% for the ETT set. Perplexity Pro demonstrated the highest MCQ performance, while the inclusion of English technical terms did not consistently improve results across models. In the clinical case assessment, ChatGPT Pro achieved the highest rubric score, showing strong evidence use and clinical reasoning. These findings suggest that AI chatbot competency in drug-related queries is broadly comparable to that of pharmacists. The ETT technique did not produce notable performance differences between Thai-only and mixed-language prompts. AI chatbots may support pharmacists by generating initial structured responses to drug information requests. The proposed evaluation framework provides a potential model for assessing AI competency in non-English settings and underscores the importance of jointly evaluating knowledge accuracy and clinical judgment to ensure safe integration into drug information services.

02

เหตุผลที่อยู่ในฐานติดตาม

ระเบียนนี้ได้รับ Impact Signal 85/100 จากความใหม่ แหล่งเผยแพร่ ความร่วมมือ และสัญญาณในข้อมูลบรรณานุกรม คะแนนนี้ใช้จัดลำดับการติดตาม ไม่ใช่การตัดสินคุณภาพงานวิจัย

ประเด็นที่เกี่ยวข้อง: Artificial Intelligence in Healthcare and Education · Electronic Health Records Systems · AI in Service Interactions

03

บทบาทของนักวิจัยและสถาบันไทย

Inthira Kanchanaphibool · Panyanat Aonpong · Thanaphat Dabngoen · Krittin Kongmee · Thanawat Wongcharee · Tanut Tantasuparuk · Sanita Hirunrassamee · Silpakorn University · Thammasat University

04

ข้อจำกัดของข้อมูล

หน้านี้เป็นระเบียนบรรณานุกรมและข้อมูลจากบทคัดย่อ ยังไม่ใช่บทวิเคราะห์ฉบับเต็มหรือการประเมินคุณภาพงานวิจัย ควรตรวจสอบ DOI และเอกสารต้นฉบับก่อนนำไปอ้างอิง