๋ˆ„๊ตฌ์ž„? ) Jim Fan์€ NVIDIA Robotics Director์ž„.

-- GPT 4o์˜ ์ •๋ฆฌ --


+ ์ฃผ์š” ๋ฉ”์‹œ์ง€:

Jim Fan์€ ์ตœ๊ทผ X ํ™œ๋™์ด ๋œธํ–ˆ๋˜ ์ด์œ ์™€, ๋กœ๋ณดํ‹ฑ์Šค ๋ถ„์•ผ์—์„œ ๋А๋‚€ ํฅ๋ถ„๊ณผ ํ˜ผ๋ˆ์„ ์†”์งํ•˜๊ฒŒ ๋‚˜๋ˆ„๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

- ์š”์•ฝ:

1. ๋กœ๋ณดํ‹ฑ์Šค๋Š” ์ง€๊ธˆ NLP์˜ 2018๋…„๊ณผ ๊ฐ™๋‹ค

2. GPT-1, BERT๊ฐ€ ๋‚˜์™”๋˜ ๊ทธ ์‹œ์ ˆ์ฒ˜๋Ÿผ, ์ง€๊ธˆ ๋กœ๋ณดํ‹ฑ์Šค๋„ ์—„์ฒญ๋‚œ ์•„์ด๋””์–ด๋“ค์ด ๋™์‹œ์— ํ„ฐ์ ธ ๋‚˜์˜ค๊ณ  ์žˆ์Œ.

3. Grok-4, Kimi K2 ๊ฐ™์€ ์–ธ์–ด ๋ชจ๋ธ์€ ์ธ์ƒ์ ์ด์ง€๋งŒ, ๋กœ๋ณดํ‹ฑ์Šค๋Š” ํ›จ์”ฌ ๋” ์›์ดˆ์ ์ด๊ณ  ๋ถˆํ™•์‹คํ•œ ์˜์—ญ.

4 .์ง€๊ธˆ arXiv ์–ด๋”˜๊ฐ€์—๋Š” "๋กœ๋ณดํ‹ฑ์ŠคํŒ GPT-1"์ด ์ด๋ฏธ ์กด์žฌํ•  ์ˆ˜๋„ ์žˆ์Œ.


ย  โ˜… ๋กœ๋ณดํ‹ฑ์Šค์˜ ๋””์ž์ธ ๊ณต๊ฐ„์€ ํ›จ์”ฌ ๋ณต์žกํ•˜๋‹ค

1. LLM์€ ํ…์ŠคํŠธ๋ผ๋Š” ๊น”๋”ํ•œ ์ž…๋ ฅ์„ ๋‹ค๋ฃจ์ง€๋งŒ, ๋กœ๋ณดํ‹ฑ์Šค๋Š” ์„ผ์„œ, ๋ชจํ„ฐ, ์‹ค์ œ ๋ฌผ๋ฆฌ ์„ธ๊ณ„ ๋“ฑ 'ํ˜ผ๋ˆ์˜ ์„ธ๊ณ„'๋ฅผ ๋‹ค๋ฃธ.

2..๊ณตํ†ต๋œ ๋ฒค์น˜๋งˆํฌ์กฐ์ฐจ ์—†์Œ. ๋กœ๋ด‡์˜ ํ˜•ํƒœ์™€ ๋ชฉ์ ์ด ์ œ๊ฐ๊ฐ์ด๊ธฐ ๋•Œ๋ฌธ.

3. **Cross-embodiment (์—ฌ๋Ÿฌ ํ˜•ํƒœ์˜ ๋กœ๋ด‡์— ์ ์šฉ ๊ฐ€๋Šฅํ•œ ์ง€๋Šฅ)**์€ ๋‹จ์ˆœํ•œ ๊ธฐ์ˆ ์  ๊ณผ์ œ๊ฐ€ ์•„๋‹ˆ๋ผ ํ•„์ˆ˜์ ์ธ ๋ฐฉํ–ฅ์„ฑ์ž„.


ย  ย โ˜… ์‚ฐ์—…์  ์ƒํƒœ๊ณ„๋„ Wild West

1.์–ด๋–ค ํšŒ์‚ฌ๋Š” ๋กœ๋ด‡ ์ „์ฒด๋ฅผ ๋งŒ๋“ค๊ณ , ์–ด๋–ค ํšŒ์‚ฌ๋Š” ์† ๊ฐ™์€ ๋ถ€ํ’ˆ๋งŒ ํŒœ.

2.๋˜ ์–ด๋–ค ํšŒ์‚ฌ๋Š” ์‹œ๋ฎฌ๋ ˆ์ด์…˜์ด๋‚˜ ๋ฐ์ดํ„ฐ์…‹์„ ํŒ”๊ณ  ์žˆ์Œ.

3.๋ง ๊ทธ๋Œ€๋กœ ๊ธฐ์ˆ ๋„, ๋น„์ฆˆ๋‹ˆ์Šค๋„ ์•„์ง ๋ˆ„๊ตฌ๋„ ์ •๋‹ต์„ ๋ชจ๋ฅด๋Š” ํ™ฉ๊ธˆ ๋Ÿฌ์‹œ ์‹œ๋Œ€.


ย  ย โ˜… AGI๋Š” ๋ฌผ๋ฆฌ ์„ธ๊ณ„์™€์˜ ์ƒํ˜ธ์ž‘์šฉ ์—†์ด๋Š” ๋ถˆ๊ฐ€๋Šฅํ•˜๋‹ค

1.์ง„์งœ ์ผ๋ฐ˜ ์ง€๋Šฅ(AGI)์€ ํ…์ŠคํŠธ๋งŒ ๋‹ค๋ฃจ๋Š” ๊ฒƒ์œผ๋กœ๋Š” ๋ถ€์กฑํ•จ.

2.โ€œTouching, feeling, and being embodiedโ€ โ€” ์ฆ‰, ์‹ค์ œ ์„ธ๊ณ„์—์„œ ๋ชธ์„ ๊ฐ€์ง€๊ณ  ์ž‘๋™ํ•˜๋Š” ๊ฒƒ์ด ํ•„์ˆ˜์ ์ž„.

ย  ย 

ย  โ˜…๊ฐœ์ธ์ ์ธ ๋ณ€ํ™”

1. ์ด์ œ๋Š” ๊ฑฐ๋Œ€ํ•œ ๊ธฐ์—…์˜ CEO์—๊ฒŒ ์ง์ ‘ ๋ณด๊ณ ๋ฅผ ํ•˜๋Š” ์œ„์น˜.

2. ์ด์ „์ฒ˜๋Ÿผ ๋ชจ๋“  AI ์†Œ์‹์„ ๋”ฐ๋ผ๊ฐ€๊ธฐ๋Š” ์–ด๋ ค์›Œ์กŒ์ง€๋งŒ, ๊ฐ€๋Šฅํ•˜๋ฉด ๋” ์ž์ฃผ ์†Œ์‹์„ ๋‚˜๋ˆ„๊ณ  ์‹ถ๋‹ค๊ณ  ํ•จ.

+ ํ•ต์‹ฌ ๋น„์œ :

"์šฐ๋ฆฌ๋Š” ์†์‹ค ๊ณก์„ (loss curve)์˜ ์‹œ์ž‘์ ์— ์žˆ๋‹ค. ์•„์ง ์ˆ˜๋ ด(convergence)๋˜์ง€ ์•Š์•˜๋‹ค."

์ฆ‰, ์ง€๊ธˆ์€ ๋กœ๋ณดํ‹ฑ์Šค ์—ฐ๊ตฌ์—์„œ ์–ด๋–ค ๋ฐฉํ–ฅ์ด ์ตœ์ ์ผ์ง€ ์•„๋ฌด๋„ ๋ชจ๋ฅด๋Š” ํƒ์ƒ‰ ๋‹จ๊ณ„์ด๋ฉฐ, ์ง€๊ธˆ ๋“ค์–ด๊ฐ€๋Š” ๊ฒƒ์ด ๊ฐ€์žฅ ์žฌ๋ฏธ์žˆ๊ณ  ์˜๋ฏธ ์žˆ๋‹ค๋Š” ๋ง์ž…๋‹ˆ๋‹ค. LLM์ด ์„ฑ์ˆ™ํ•ด์ง„ ์ง€๊ธˆ, ๋กœ๋ณดํ‹ฑ์Šค๊ฐ€ ๋‹ค์Œ ํŒŒ๋„๋ผ๋Š” ๊ฐ๊ฐ์ด ๊ฐ•ํ•˜๊ฒŒ ๋“œ๋Ÿฌ๋‚ฉ๋‹ˆ๋‹ค.