[📪정보] 오픈AI 퇴사한 수석 연구원, '지속 학습' 모델 스타트업 설립..

[회색(counsel8318)]

오픈AI 퇴사한 수석 연구원, '지속 학습' 모델 스타트업 설립...

오픈AI의 핵심 연구원이 회사의 연구 방침에 반발, 스타트업 창립을 위해 떠난 것으로 밝혀졌다. 그는 새롭게 떠오르는 '지속 학습(Continual Learning)'을 연구할 생각이었지만, 실험적인 프로젝트에 컴퓨팅 리소스를 내줄 수 없다는 내부의 반대에 부딪힌 것으로 알려졌다.

디 인포메이션과 파이낸셜 타임스는 제리 트워렉 부사장 겸 수석 연구원이 지난달 오픈AI를 떠나 코어 오토메이션(Core Automation)을 설립했다고 보도했다.

트워렉 부사장은 지난달 6일 X(트위터)를 통해 "오픈AI에서 하기 어려운 연구 유형을 탐구하기 위해 떠난다"라고 밝힌 바 있다. 하지만, 연구 내용이 무엇인지 왜 회사를 떠났는지에 대해서는 자세히 알려진 바 없다.

그는 2019년 오픈AI에 입사, 2022년부터 연구팀 리드를 맡으며 '챗GPT'와 'GPT-4'에 이어 첫 추론 모델 'o1'까지 주요 제품군의 개발을 이끈 핵심 인물이다.

퇴사 직후에는 스타트업을 설립하고 5억~10억달러(약 7255억~1조4511억원)에 달하는 엄청난 규모의 투자 유치에 나선 것으로 밝혀졌다. 투자자들에게 공개한 자료에 따르면, 그는 '세레스(Ceres)'라고 불리는 지속 학습 모델을 구축 중이다.

이는 지난해말부터 뉴립스 등을 통해 새로운 트렌드로 떠오른 것으로, 지금처럼 매개변수를 완전히 재훈련하지 않고도 새로운 정보를 효율적으로 학습하는 모델을 말한다. 이처럼 스스로 배우며 지식을 확장하는 방식으로, 인공일반지능(AGI)에 도달하는 것이 목표다.  

이를 위해 코어 오토메이션은 현재 훈련 표준 방법인 경사 하강법을 포함해 대부분 방식을 교체할 것으로 알려졌다. 이를 통해 모델 학습에 필요한 데이터와 컴퓨팅 용량을 줄인다는 것이다.

또 최근 실리콘 밸리에서 주목받는 '사전·사후 학습 통합'을 적용할 계획이다. 이는 인터넷 규모의 지식을 학습하는 것이 아니라, 모델이 실제로 처리할 작업과 연관 있는 데이터만 선별해 미세조정이 필요 없도록 하는 것이다. 그 결과, 기존 트랜스포머를 뛰어넘는, 단일 프로세스로 통합된 훈련 아키텍처를 구축할 것이라는 내용이다. 

그리고 지속 학습은 일리야 수츠케버 CEO의 SSI도 연구 중인 것으로 전해졌다. 그 역시 실제 환경에 배포된 뒤에도 학습할 수 있는 모델을 개발하고 싶다고 밝혔다는 내용이다.

이를 통해 최첨단 모델보다 100배 적은 데이터로 코딩 특화 모델을 개발할 계획이다. 이를 통해 산업 자동화는 물론, 최종적으로는 '자가 복제 공장'을 구축해 행성 테라포밍까지 가능하게 될 것이라고 예상한다는 것이다.

이와 관련, 오픈AI는 지난해 중순 유망한 지속 학습 논문을 발표한 MIT 연구진을 일부 영입하고 관련 연구를 시작한 것으로 알려졌다. 그러나, 제미나이 3의 등장으로 인해 12월 초 '코드 레드'를 발령하며 분위기가 변한 것으로 전해졌다. 즉, 당장 개발 중인 모델의 성능을 높이는 작업을 제외한 나머지 연구가 사실상 중단됐다는 것이다.

한 관계자에 따르면, 컴퓨팅 파워와 인력 증123456789원 등 그의 요청은 오픈AI 경영진에 의해 거부됐다. 결국 야쿠브 파초키 오픈AI 수석 과학자와의 갈등으로 이어졌다.

파초키 수석은 트워렉 부사장의 연구 방식에 동의하지 않았으며, 오픈AI의 기존 개발법이 더 유망하다고 주장했다.

출처 : AI타임스(https://www.aitimes.com)

뭔가 금단의 기술을 연구하다가 나온 매드 사이언티스트 같이 생겼어욬ㅋㅋㅋㅋㅋ

[익명(sleep9291)]

일리야의 길을 걷는군. 어쨌든 고급 엔지니어를 잃는건 oai의 뼈아픈 점임.

[ㅇㅇ 1(121.183)]

OAI는 지금 당장 유의미한 수익을 가져올 수 있는 연구에만 집중하고 싶은데 연구자들은 지금 당장에는 의미 없어도 미래에는 획기적일 수 있는 기술을 탐구하고자 하니...

[노암브라운(contend3854)]

라는 헛소문 하도 퍼져서 마크첸이 자기네들이 제일 연구 많이한다고 함 ㅋㅋ

[ㅇㅇ 5(125.138)]

근데 원래 연구가 재밌는거지 해야되는거 일처럼 앞에 던져지면 존나 재미없음

[탈조선(reuse2097)]

ㄹㅇㅋㅋㅋㅋ

[초존도초(htr3c654r6ft)]

제리 트워렉이 하겠다고 했던 게 지속학습이었다니 ㄷㄷㄷ - 2026 AGI

[ㅇㅇ 2(1.234)]

이러면 지속학습에 대한게 금방 나오진 않나보네 제리 위치에 있는 사람이 지속학습 관련으로 모를리도 없고

[야하이잇(dignity123)]

우선순위의 차이긴할듯 모든 연구에 컴퓨팅이 갈수는 없을테니

[천사다천사(jjtheman999)]

[익명(wanted7407)]

지속학습 스타트업 벌써 네개째 ㄷㄷ

[알트만과머스크(blessed4035)]

일리야 느낌 나만 그렇게 생각하나?

[행복한천국으로(adjust7431)]

할 수 있으시려나..

[덕후나이트(ttrocketeer)]

쎈수학

[익명(gjtthf)]

일단 오픈ai에서 한동안 지속학습 모델 나올 일은 없겠노 ㅋㅋ

[레알팜(lottohelp)]

[ㅇㅇ 3(39.119)]

기존의 틀에 의문을 제기하고 다른 길로 걸어가는 수많은 사람들이 그 부분에서 성과를 내고 이런 성과들이 생태계에 쌓이고 그런 생태계 내 인재의 축을 형성하면서 서로 스카웃하고 협력하면서 생각지도 못한 패러다임이 나온다. 이게 미국의 창의성을 보여주는 사례

[효자비스(photo6311)]

[익명(account9429)]

경사하강법까지 바꾸는?? jepa보다 더 나간거같은데 ㅋㅋㅋ

[ㅇㅇ 4(221.151)]

근데 지속학습 연구들중 저런 기초적인 학습 방법 건드리는거 원래 시도 많긴함

[ㅇㅇ 5(125.138)]

지속 학습쪽에서는 경사 하강법 바꿔야 할 것 같긴 함

[익명(symbol9756)]

Continual learning이 뭐길래 저정도냐 - dc App

[익명(doll4162)]

아무나 이겨라