https://arxiv.org/abs/2404.18416


๋‹ค์–‘ํ•œ ์˜๋ฃŒ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์˜ ์šฐ์ˆ˜์„ฑ์€ ๊ณ ๊ธ‰ ์ถ”๋ก , ์ตœ์‹  ์˜ํ•™ ์ง€์‹์— ๋Œ€ํ•œ ์•ก์„ธ์Šค, ๋ณต์žกํ•œ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ์ดํ•ด๊ฐ€ ํ•„์š”ํ•œ AI์—๊ฒŒ ์ƒ๋‹นํ•œ ๋„์ „ ๊ณผ์ œ๋ฅผ ์•ˆ๊ฒจ์ค๋‹ˆ๋‹ค. ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ๋ฐ ๊ธด ์ปจํ…์ŠคํŠธ ์ถ”๋ก ์—์„œ ๊ฐ•๋ ฅํ•œ ์ผ๋ฐ˜ ๊ธฐ๋Šฅ์„ ๊ฐ–์ถ˜ Gemini ๋ชจ๋ธ์€ ์˜ํ•™ ๋ถ„์•ผ์—์„œ ํฅ๋ฏธ๋กœ์šด ๊ฐ€๋Šฅ์„ฑ์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ Gemini์˜ ํ•ต์‹ฌ ๊ฐ•์ ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ์›น ๊ฒ€์ƒ‰์„ ์›ํ™œํ•˜๊ฒŒ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๊ณ  ๋งž์ถคํ˜• ์ธ์ฝ”๋”๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์ƒˆ๋กœ์šด ์–‘์‹์— ํšจ์œจ์ ์œผ๋กœ ๋งž์ถคํ™”ํ•  ์ˆ˜ ์žˆ๋Š” ์˜ํ•™์— ํŠนํ™”๋œ ๊ณ ๊ธฐ๋Šฅ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ๋ชจ๋ธ ์ œํ’ˆ๊ตฐ์ธ Med-Gemini๋ฅผ ์†Œ๊ฐœํ•ฉ๋‹ˆ๋‹ค. 14๊ฐœ์˜ ์˜๋ฃŒ ๋ฒค์น˜๋งˆํฌ์—์„œ Med-Gemini๋ฅผ ํ‰๊ฐ€ํ•˜์—ฌ ๊ทธ ์ค‘ 10๊ฐœ์—์„œ ์ƒˆ๋กœ์šด ์ตœ์ฒจ๋‹จ(SoTA) ์„ฑ๋Šฅ์„ ํ™•๋ฆฝํ–ˆ์œผ๋ฉฐ, ์ง์ ‘ ๋น„๊ต๊ฐ€ ๊ฐ€๋Šฅํ•œ ๋ชจ๋“  ๋ฒค์น˜๋งˆํฌ์—์„œ GPT-4 ๋ชจ๋ธ ์ œํ’ˆ๊ตฐ์„ ํฐ ์ฐจ์ด๋กœ ๋Šฅ๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋„๋ฆฌ ์‚ฌ์šฉ๋˜๋Š” MedQA(USMLE) ๋ฒค์น˜๋งˆํฌ์—์„œ ์ตœ๊ณ  ์„ฑ๋Šฅ์„ ์ž๋ž‘ํ•˜๋Š” Med-Gemini ๋ชจ๋ธ์€ ์ƒˆ๋กœ์šด ๋ถˆํ™•์‹ค์„ฑ ๊ธฐ๋ฐ˜ ๊ฒ€์ƒ‰ ์ „๋žต์„ ์‚ฌ์šฉํ•˜์—ฌ 91.1%์˜ ์ •ํ™•๋„๋กœ SoTA ์„ฑ๋Šฅ์„ ๋‹ฌ์„ฑํ–ˆ์Šต๋‹ˆ๋‹ค. NEJM ์ด๋ฏธ์ง€ ์ฑŒ๋ฆฐ์ง€์™€ MMMU(๊ฑด๊ฐ• ๋ฐ ์˜ํ•™)๋ฅผ ํฌํ•จํ•œ 7๊ฐœ์˜ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ๋ฒค์น˜๋งˆํฌ์—์„œ Med-Gemini๋Š” GPT-4V๋ณด๋‹ค ํ‰๊ท  44.5%์˜ ์ƒ๋Œ€์  ๋งˆ์ง„์œผ๋กœ ๊ฐœ์„ ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ๋น„์‹๋ณ„ํ™”๋œ ๊ธด ์˜๋ฃŒ ๊ธฐ๋ก์—์„œ ๊ฑด์ดˆ ๋”๋ฏธ์—์„œ ๋ฐ”๋Š˜ ์ฐพ๊ธฐ์™€ ์˜๋ฃŒ ์˜์ƒ ์งˆ๋ฌธ์— ๋Œ€ํ•œ ๋‹ต๋ณ€์— ๋Œ€ํ•œ SoTA ์„ฑ๋Šฅ์„ ํ†ตํ•ด Med-Gemini์˜ ๊ธด ๋งฅ๋ฝ ๊ธฐ๋Šฅ์˜ ํšจ๊ณผ๋ฅผ ์ž…์ฆํ•˜๋ฉฐ, ์ด๋Š” ๋งฅ๋ฝ ๋‚ด ํ•™์Šต๋งŒ์„ ์‚ฌ์šฉํ•˜๋Š” ์ด์ „์˜ ๋งž์ถคํ˜• ๋ฐฉ๋ฒ•์„ ๋Šฅ๊ฐ€ํ•ฉ๋‹ˆ๋‹ค. ๋งˆ์ง€๋ง‰์œผ๋กœ, Med-Gemini์˜ ์„ฑ๋Šฅ์€ ์˜๋ฃŒ ํ…์ŠคํŠธ ์š”์•ฝ๊ณผ ๊ฐ™์€ ์ž‘์—…์—์„œ ์ธ๊ฐ„ ์ „๋ฌธ๊ฐ€๋ฅผ ๋Šฅ๊ฐ€ํ•จ์œผ๋กœ์จ ์‹ค์ œ ํ™œ์šฉ ๊ฐ€๋Šฅ์„ฑ์„ ์‹œ์‚ฌํ•˜๋ฉฐ, ๋‹ค์ค‘ ๋ชจ๋“œ ์˜๋ฃŒ ๋Œ€ํ™”, ์˜๋ฃŒ ์—ฐ๊ตฌ ๋ฐ ๊ต์œก์— ๋Œ€ํ•œ ์œ ๋งํ•œ ์ž ์žฌ๋ ฅ์„ ์ž…์ฆํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ๊ฒฐ๊ณผ๋ฅผ ์ข…ํ•ฉํ•ด ๋ณผ ๋•Œ, ์•ˆ์ „์ด ์ค‘์š”ํ•œ ์˜์—ญ์—์„œ ์‹ค์ œ ๋ฐฐํฌํ•˜๊ธฐ ์ „์— ๋” ์—„๊ฒฉํ•œ ํ‰๊ฐ€๊ฐ€ ํ•„์š”ํ•˜๊ฒ ์ง€๋งŒ Med-Gemini์˜ ์ž ์žฌ๋ ฅ์— ๋Œ€ํ•œ ๊ฐ•๋ ฅํ•œ ์ฆ๊ฑฐ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.