[📪정보] 방사선학에서 GPT-4의 경계 탐구

[익명(222.108)]

최근 일반 도메인 LLM (대형 언어 모델)의 성공으로 자연어 처리 패러다임이 도메인과 애플리케이션 전반에 걸친 통합 기반 모델로 크게 바뀌었습니다. 

이 문서에서는 방사선학 보고서용 텍스트 기반 애플리케이션에서 지금까지 가장 유능한 LLM인 GPT-4의 성능을 평가하고 최첨단(SOTA) 방사선학 관련 모델과 비교하는 데 중점을 둡니다.

다양한 프롬프트 전략을 탐색하면서 우리는 다양한 범위의 일반적인 방사선학 작업에 대해 GPT-4를 평가했으며 GPT-4가 현재 SOTA 방사선학 모델보다 성능이 우수하거나 동등한 것으로 나타났습니다. 

제로샷 프롬프팅을 통해 GPT-4는 이미 시간적 문장 유사성 분류(정확도) 및 자연어 추론(F_1)에서 방사선학 모델에 비해 상당한 이득(약 10% 절대 개선)을 얻었습니다. 데이터세트별 스타일이나 스키마(예: 결과 요약)를 학습해야 하는 작업의 경우 GPT-4는 예시 기반 프롬프트로 개선되고 감독된 SOTA와 일치합니다.

위원회 인증 방사선 전문의와의 광범위한 오류 분석에 따르면 GPT-4는 미묘한 도메인 지식이 필요한 복잡한 상황에서 가끔 오류만 발생하는 충분한 수준의 방사선학 지식을 갖추고 있습니다.

결과 요약을 위해 GPT-4 출력은 기존 수동으로 작성된 노출과 전반적으로 유사한 것으로 확인되었습니다.

LLM의 한계는 어디까지인가... ㄷㄷ..

[익명(121.150)]

와버렸다

[물병나르는청년(dbdbd0528)]

얘가 조금 덜떨어진 AGI지 뭐임

[익명(112.171)]

일단 본거는 다 기억하다 보니 사람보다 좋은건가

[디시콘발사대(fcbjsjmu1t9f)]

고사리손으로 열심히 전문화시킨 모델도 결국 AGI에 밀려나네