[📪정보] 오픈AI 공동창립자 "데이터 벽 넘어설 방법 있어..에이전트는 2~3년"

[익명(182.230)]

https://www.aitimes.com/news/articleView.html?idxno=159746

오픈AI 공동창립자

오픈AI의 공동 창립자이자 'GPT-4' 개발을 이끈 존 슐먼이 대형언어모델(LLM)의 학습 능력 향상으로 데이터 부족을 넘어설 수 있을 것이라고 밝혔다. 이는 최근 샘 알트먼 오픈AI CEO가 밝혔던 내용과 일치한다.

디 인포메이션과 UBJ 등은 16일(현지시간) 존 슐먼 오픈AI 공동창립자 겸 모델 학습 책임자가 팟캐스트에 출연, GPT-4의 성능과 데이터 문제, 오픈AI의 개발 상황 등에 대해 밝혔다고 보도했다.

1시간 30분 동안 진행된 인터뷰의 핵심은 데이터 학습 문제였다. 

진행자인 드와르케시 파텔은 GPT-4는 이미 현존하는 대부분의 데이터를 학습했고, 이로 인해 추후 등장할 모델이 이른바 '데이터 벽(data wall)'에 막혀 더 성능이 좋아지기 어려울 것이라는 의문을 언급했다. 

이에 대해 슐먼 창립자는 몇가지 과제가 있음을 인정했다. 하지만 오픈AI는 이를 극복할 방법을 가지고 있다고 밝혔다.

그는 "제한된 데이터 양으로 인해 확실히 몇가지 어려움이 있지만, 데이터 벽에 즉시 부딪힐 것이라고는 생각하지 않는다"라며 "사전 훈련의 성격은 시간이 지남에 따라 다소 변할 것으로 예상한다"라고 말했다.

GPT-4와 같은 큰 모델이 'GPT-2'와 같은 이전 모델보다 '샘플 효율성'이 더 높다는 것을 예로 들었다. 이는 최신 모델은 더 적은 양의 데이터를 학습해도, 기존 모델과 동일한 수준의 성능을 낸다는 것을 의미한다.

이런 효율성 향상이 향후 AI 발전에 중요한 역할을 한다고 강조했다. 이 때문에 학습 데이터가 늘수록 모델 성능이 향상하는 관계를 정확하게 정량화할 방법이 없다고도 덧붙였다.

이는 샘 알트먼 오픈AI CEO가 이달 초 하버드대학교 행사에 참석해 밝힌 바와 비슷하다. 그는 "항상 더 많은 훈련 데이터가 필요한 것이 사실"이라며 "하지만 이 문제를 해결할 수 있는 방법을 찾아낼 것이라고 믿는다"라고 말했다.

이 외에도 슐먼 창립자는 알트먼 CEO가 비용이 얼마나 들지 몰라도 반드시 AGI를 개발하겠든 강한 의지를 가지고 있다고 밝혔다.

또 2~3년 안에 일부 작업 처리가 가능한 AI 에이전트가 등장할 수 있을 것으로 전망했다. 아직 대형언어모델(LLM)은 단일 작업 처리에만 초점을 맞추고 있고, 지속적으로 일관된 작업을 수행하고 유지해야 하는 AI 에이전트의 능력을 갖추기 어렵다는 이유다. 이를 학습하는 데에는 시간이 좀 걸릴 것으로 봤다.

하지만 5년 정도 뒤면 AI 에이전트가 코딩과 같은 특정 도메인 작업을 넘어 자신과 같은 사람의 역할을 대체할 수 있다고 덧붙였다.

AGI로 가는 또 다른 중요한 단계인 추론 능력 향상을 위해 '테스트-시간 계산(test-time computation)'이라는 기계 학습을 최적화해야 한다고도 밝혔다. 이는 지난해 오픈AI가 AGI의 돌파구라고 밝힌 'Q스타'라는 모델의 근간인 것으로도 알려져 있다.

하지만 그는 AGI가 등장하기 위해서는 더 복잡한 작업 수행 능력, 오류 복구 능력, 일상적인 제한 사항 극복, 인간과의 상호작용을 위한 UI 등 많은 부분이 필요하다고 지적했다. 또 모델 능력이 향상되더라도, 인간과 같은 수준의 능력을 갖추기는 어려울 것으로 내다봤다.

[Joyful(approve1515)]

[Joyful(approve1515)]

“GPT-4와 같은 큰 모델이 'GPT-2'와 같은 이전 모델보다 '샘플 효율성'이 더 높다는 것을 예로 들었다. 이는 최신 모델은 더 적은 양의 데이터를 학습해도, 기존 모델과 동일한 수준의 성능을 낸다는 것을 의미한다.” “5년 정도 뒤면 AI 에이전트가 코딩과 같은 특정 도메인 작업을 넘어 자신과 같은 사람의 역할을 대체할 수 있다고 덧붙였다.”