레이블러 프로젝트는 글머리 기호 형식 등 정리되지 않은 자연어로 작성된 판독문에서 특정 병명을 추출하는 연구 개발 프로젝트이다. 흉부 엑스레이 결과를 바탕으로 진단 가능한 병명 중 발병 빈도 또는 중요도가 높은 ▲골절 ▲흉막 병변 ▲기흉 등 총 13가지 병명 추출이 가능한 것이 특징이다. 예를 들어 사용자가 자연어로 작성된 판독문을 입력하면, 판독문 분석 후 13개 병명에 대한 양성/음성 여부를 알려주게 된다.
카카오브레인은 의료 진단 업무 개선에 기여하고자 기존에 공개된 타사 모델보다 정확하고 효율적으로 특정 병명을 추출하는 레이블러 프로젝트 연구에 착수했다. 이 프로젝트는 카카오브레인의 흉부 엑스레이 초안 판독문 생성 기술의 내부 성능 검증 연구에도 활용된 바 있다.
카카오브레인이 실제 ▲골절 ▲기흉 ▲폐부종 등 10개 병명을 대상으로 병명 추출의 정확도를 측정한 결과, 카카오브레인의 레이블러 프로젝트가 타사 모델(약 76%) 대비 현격히 높은 정확도인 90.39%를 기록했다.
카카오브레인은 레이블러 프로젝트를 ‘깃허브(Github)’에 공개하면서 지난달 말 레이블러의 학습법과 성능 비교 결과를 담은 논문 ‘대규모 언어 모델을 활용한 향상된 흉부 X선 판독문 라벨링(CheX-GPT: Harnessing Large Language Models for Enhanced Chest X-ray Report Labeling)’을 논문 공개 사이트 ‘아카이브(arXiv)’에 게재했다.
카카오브레인 김일두 각자 대표는 “많은 연구자들이 카카오브레인의 레이블러 프로젝트를 테스트 벤치마크로 활용할 수 있도록 직접 제작한 테스트 셋을 공개할 예정”이라며 “자사의 언어 모델을 활용하고, 흉부 엑스레이 데이터를 추가로 학습 시키는 등 레이블러 프로젝트의 성능을 더욱 향상시킬 계획”이라고 전했다.
하수지 기자
press@healthinnews.co.kr