가천대 연구팀, ‘GPT-4 한의사 국가시험 통과’ 수준

* GPT-4 can pass the Korean National Licensing Examination for Korean Medicine Doctors

https://doi.org/10.1371/journal.pdig.0000416

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10723673/

* 기사 출처 : 뉴시스

https://n.news.naver.com/mnews/article/003/0012282571

https://www.newsis.com/view/?id=NISX20231222_0002569005

# 기사 일부

– 가천대학교 한의과대학 김창업 교수 연구팀은 생성형 인공지능 모델(generative AI model)인 GPT-4가 한의사 국가시험을 통과하는 수준의 성능을 구현했다고 22일 밝혔다. […]

– 기존 연구에서는 GPT-4가 한의사 국가시험을 간발의 차로 합격하지 못했던 반면, 이번 연구에서는 언어모델에게 문항을 제시하는 방식을 최적화해 모델의 성능을 극대화하는 기법인 프롬프트엔지니어링(prompt engineering)을 활용해 합격 수준에 도달했다.

– 김교수 연구팀은 2022년 한의사 국가시험에 포함된 340 문항을 GPT-4에 제시한 뒤 GPT-4의 정답률을 평가했다. 그 결과 GPT-4는 전체 문항 중 66.18%의 문항에 대해 정답을 맞췄으며, 각 과목에 대해서도 과목별 과락 기준인 40%보다 높은 정답률을 나타냈다.

– 특히, 이번 연구에서는 프롬프트 엔지니어링에 따라 GPT-4의 성능이 합격/불합격에 영향을 미칠 만큼 성능에 큰 영향을 주는 것을 확인했다.

– 또 한국어로 된 문항을 그대로 입력하였을 경우에는 평균 정답률이 51.82%였던 것에 반해, 한의학 용어를 한자로 병기하였을 경우에는 57.59%, 지시와 문제를 영어로 스스로 번역해 풀게 했을 때에는 63.65%로 상승했다. [후략]