[📪정보] [레딧] OpenAI가 4.5를 출시하지 않았던 이유

[초존도초(htr3c654r6ft)]

https://www.reddit.com/r/singularity/comments/18jv9e3/perhaps_theres_a_reason_why_openai_isnt_releasing/

Reddit - Dive into anything

약 1년 전에 GPT 3가 세상을 뒤흔들었을 때, 주로 구글과 같은 회사들이 두려워했습니다. 구글은 이를 '코드 레드'라고 부르며, 전 직원 회의를 소집했습니다. 2023년 1월, AI 전쟁이 시작되었습니다. OAI의 중요한 순간들을 샘도 기록으로 남겨야 할 것 같습니다.

중요한 것은 타임라인입니다. 그 '코드 레드' 전체 회의 몇 달 후에, 구글은 바드 챗을 발표했고, A) 잘 받아들여지지 않았으며 B) 데이터를 훔쳤다는 내부적인 비난을 받았습니다. 구글은 ShareGPT에서 데이터를 훔치거나 스크래핑하지 않았다고 부인했지만, 내부적인 비난으로 기록되었습니다. 그들은 '지금까지'라는 말로 단어를 구분하며 부인했습니다. 만약 시인한다면 그렇게 할 수도 있을 것입니다.

2023년 3월 29일

"인포메이션의 보고서에는 구글이 OpenAI의 ChatGPT에서 데이터를 스크래핑하여 바드를 훈련시켰다는 놀라운 제3자 주장도 포함되어 있습니다. 구글의 전 AI 연구원이 그 데이터 사용에 반대했다고 합니다.

하지만 구글은 데이터 사용을 명확하게 부인합니다: '바드는 ShareGPT나 ChatGPT에서 어떠한 데이터도 훈련시키지 않았습니다,' 대변인 크리스 파파스가 버지에 말했습니다.

파파스는 과거에 구글이 바드 훈련을 위해 ChatGPT 데이터를 사용했는지에 대해서는 답변을 거부했습니다. '불행히도 나는 어제의 성명에서 공유할 수 있는 것만 공유할 수 있습니다,' 그가 말했습니다.

인포메이션의 보도에 따르면, 구글의 AI 엔지니어인 제이콥 데블린은 OpenAI의 이용 약관을 위반하고 답변이 너무 비슷해 보일 것이라고 경고하며 구글을 떠나 즉시 경쟁사인 OpenAI에 합류했습니다. 한 소식통은 그의 경고 후 구글이 그 데이터 사용을 중단했다고 말했습니다. 어쩌면 그 훈련 부분도 버렸을 수도 있습니다.

구글이 데이터를 사용했는지 여부와 상관없이, 구글이 딥마인드를 끌어들이고 있다는 소식은 흥미롭습니다. 딥마인드는 여러 해 동안 구글로부터 더 독립적이 되려고 하고 있었습니다."

2023년 5월 4일

그다음으로, 구글은 내부 메모를 '유출'하며 오픈 소스가 진짜 문제라고 주장했습니다. 모든 것이 오픈 소스에 의해 집어삼켜질 것이라고 말했습니다.

"우리에게는 방어벽이 없습니다. OpenAI도 마찬가지입니다"

우리에게도 OAI에게도 방어벽이 없다는 것이 반쯤은 사실인 것 같습니다. 실제로 방어벽은 OpenAI인 것 같습니다.

구글은 오픈 소스가 모두의 점심을 먹어 치우고 있으며, 아무도 이를 막을 수 없다고 말합니다.

"하지만 불편한 진실은, 우리가 이 무기 경쟁에서 이길 수 없다는 것이며, OpenAI도 마찬가지입니다. 우리가 다투는 동안, 제3의 세력이 조용히 우리의 점심을 먹고 있습니다."

이것은 엔터프라이즈 클라우드 회사입니다. 마이크로소프트와 아마존은 클라우드에서 모델을 어떻게 사용하든 상관하지 않는다고 여러 번 말했습니다. 구글도 마찬가지라고 생각합니다. 클라우드에서 모델을 실행하는 것은 다른 모델을 실행하는 것만큼이나 그들에게 이익이 됩니다. 클라우드에서 규모에 맞게 무엇을 하든 상관없습니다. OAI와 마이크로소프트만이 현재 혜택을 받는 GPT 4에 대한 프리미엄은 현실이지만, 계산은 계산이며 모두가 클라우드에 데이터와 부품을 넣어 AI를 실행하고 있습니다. 이는 구글에게도 이익이 됩니다.

다시 말하지만, 오픈 소스 모델은 AI 분야에서 아무도 해치지 않습니다. 기술 거인인 구글이 이를 이해하지 못한다는 것은 이상합니다. 그들이 이렇게 잘못된 주장을 할 수 있는 방법이 없습니다. 그리고 이전에는 아무 것도 없었으므로, OpenAI가 발표된 지 3개월 만에 오픈 소스 모델로 인해 모든 것이 무너지고 있다는 인식이 생겼다고 생각하는 사람은 지구상에 아무도 없었습니다. 다시 말하지만, 구글만이 그런 터무니없는 주장을 했습니다. 말하자면, 자신들의 병사들을 동기 부여하기 위해 무엇이든 하세요. 현실과는 맞지 않습니다.

여기 더 있습니다.

"물론 저는 오픈 소스에 대해 말하고 있습니다. 간단히 말해서, 그들은 우리를 앞서고 있습니다. 우리가 '주요 열린 문제들'로 여기는 것들은 해결되었고 사람들의 손에 있습니다. 몇 가지만 언급하자면:

... blah blah blah

우리 모델들은 여전히 품질 면에서 약간의 우위를 점하고 있지만, 그 격차는 놀랍도록 빠르게 좁혀지고 있습니다. 오픈 소스 모델들은 더 빠르고, 더 맞춤화되며, 더 개인적이며, 파운드당 더 능력이 있습니다. 그들은 우리가 $10M와 540B 파라미터로 고군분투하는 것을 $100와 13B 파라미터로 하고 있습니다. 그리고 그들은 몇 달이 아니라 몇 주 만에 그렇게 하고 있습니다. 이것은 우리에게 심오한 영향을 미칩니다:"

전반적으로 이 성명서는 완전히 공정하며, 현재 상황에 대한 자기 분석에 중요한 자기 비판입니다. 그러나, 몇몇 진술들은 이상하게 들립니다. 우리 모델들이 여전히 약간의 우위를 점하고 있다고? 다시 말하지만, 날짜가 중요합니다. 2023년 5월, OAI의 발표 후 거의 6개월이 지난 시점에서, GPT를 훔쳤다는 비난을 받은 후에 오픈 소스에 대항하여 고군분투한다는 것은 사후적으로 볼 때 상당히 어리석은 인정입니다. 또한, 여기서 맥락이 모호합니다. 처음에는 OAI도 같은 상황에 있다고 말하지만, 그다음에는 자신의 제품만이 $100 모델에 의해 빠르게 격차가 줄어들고 있다고 주장합니다.

당시 업계의 합의는 명확했습니다. 오픈 소스는 괜찮지만(그리고 더 저렴하지만), 좋은 결과를 얻기 위해서는 많은 미세 조정과 훈련이 필요합니다. 사용 가능하게 만들기 위해 많은 노력이 필요합니다. GPT가 미래이며, 중요한 이유가 없다면 계속 진행해야 합니다. 구글이 이 사실을 잘 알고 있었거나, 현실과 깊이 동떨어진 상태였다는 것은 확실합니다.

또한, 구글의 품질에 대한 자기 반성은 이 메모에서 이상합니다. 사후적으로, 이것이 사실이 아니라는 것을 알고 있습니다.

GPT4와 비교하여 바드를 어떻게 보는지 보세요. 당시 이를 믿는 사람은 저를 포함하여 거의 없었습니다. 그들의 새로운 업데이트인 Gemini Pro는 GPT4와 경쟁할 수 없습니다.

그러나 여기에 있습니다, 2023년 5월의 구글이 자기 반성의 모습입니다.

구글은 같은 메모에서 이렇게 말합니다.

"사람들은 제한된 모델에 대해 돈을 지불하지 않을 것입니다. 품질면에서 비슷한 무료, 무제한 대안이 있을 때 말입니다. 우리가 진정으로 가치를 더하는 곳이 어디인지 고려해야 합니다.

거대한 모델들은 우리를 늦추고 있습니다. 장기적으로는, 빠르게 반복 개선할 수 있는 모델이 가장 좋은 모델입니다. <20B 파라미터 범위에서 가능한 것을 알게 된 지금, 우리는 작은 변형 모델을 부수적인 것으로 여기는 것을 멈추어야 합니다.

무슨 일이 있었나

3월 초, 오픈 소스 커뮤니티는 메타의 LLaMA가 공개로 유출되면서 처음으로 정말 능력 있는 기초 모델을 손에 넣었습니다.

... blah blah blah

여기 우리는, 겨우 한 달 후에, 지시 조정, 양자화, 품질 개선, 인간 평가, 멀티모달, RLHF 등을 갖춘 변형들이 있습니다. 이 중 많은 것들이 서로를 기반으로 합니다.

... blah blah blah

가장 중요한 것은, 그들은 누구나 손쉽게 조작할 수 있을 정도로 확장 문제를 해결했습니다. 새로운 아이디어 중 많은 것은 일반인들에게서 나왔습니다. 훈련과 실험에 대한 진입 장벽이 주요 연구 기관의 총 출력에서 한 사람, 한 저녁, 그리고 고성능 노트북으로 떨어졌습니다."

멈춰, 웃겨요. 그들은 확장 문제를 해결했다고요?

9개월 전에 무언가를 떨어뜨렸고, 그 후로 건드리지 않았습니다.

정말 놀라운 것은, 건드리지 않은 저장소가 17.6k 별을 받은 것입니다. 농담이 아니라, 정말 놀랍습니다. 하지만, 그것은 폐기됐습니다. Llama의 그 버전에서 더 이상 진행되는 것은 없습니다.

Git은 학교나 이력서를 위해 무언가를 하고 난 후 다른 삶의 부분으로 넘어가기 전에 지루해져 멸종된 새처럼 사라지는 시작 프로젝트로 가득 차 있습니다. 이것이 개발자가 패키지를 주의 깊게 살펴보고 직접 코딩하는 방법을 배워야 하는 이유입니다. 이야기는 이것입니다. 이 프로젝트는 현재, 실질적으로 어디에도 없습니다.

이것이 구글이 인식하는 위협입니까? 구글이 두려워하는 것이 이것입니까? 우리는 이것이 어떤 방식으로도 구글에게 위협이 되지 않는다는 것을 알고 있습니다. 오픈 소스는 결코 위협이 아니었습니다. 엔지니어들이 무언가를 가져와 개선하는 것은 인생의 자연스러운 부분입니다.

구글이 여기서 틀린 것은 아니지만, '누구나 조작할 수 있기 때문에' 이것이 어떻게

확장 문제를 해결했는지 정확히 어떻게 되는지 말입니다. 말하자면, 그것이 오픈 소스로 일어나는 일이고, 왜 당신이 메가 클라우드 회사인지입니다. 오픈 소스를 사랑해야 합니다. 오픈 소스를 좋아하지 않는 사람이 누구입니까?

마지막으로 이 논문에서.

"우리가 놓친 것.

최근 오픈 소스의 성공을 이끈 혁신은 우리가 여전히 고군분투하고 있는 문제들을 직접 해결합니다. 그들의 작업에 더 많은 주의를 기울이면 우리가 바퀴를 재발명하는 것을 피할 수 있을 것입니다.

LoRA는 우리가 더 주의를 기울여야 할 매우 강력한 기술입니다.

LoRA는 모델 업데이트를 저랭크 요인 분해로 나타냅니다.

...

처음부터 모델을 재훈련하는 것은 어려운 길입니다.

LoRA가 효과적인 부분은 - 다른 형태의 미세 조정처럼 - 그것이 쌓일 수 있다는 것입니다. 지시 조정과 같은 개선은 적용될 수 있으며, 다른 기여자들이 대화, 추론, 도구 사용을 추가함에 따라 활용될 수 있습니다. 개별적인 미세 조정은 저랭크일 수 있지만, 그 합은 그렇지 않을 수 있어, 시간이 지남에 따라 모델에 전체 랭크 업데이트가 누적될 수 있습니다.

이것은 새롭고 더 나은 데이터 세트와 작업이 사용 가능해짐에 따라, 모델을 저렴하게 최신 상태로 유지할 수 있음을 의미합니다. 전체 실행 비용을 지불할 필요가 없습니다.

...

장기적으로 큰 모델이 더 능력 있지 않습니다. 만약 우리가 작은 모델에 대해 더 빠르게 반복 개선할 수 있다면

LoRA 업데이트는 매우 저렴하게 생산됩니다 (~$100) 가장 인기 있는 모델 크기에 대해. 이것은 거의 모든 아이디어를 가진 사람이 하나를 생성하고 배포할 수 있음을 의미합니다.

...

오픈 소스와 직접 경쟁하는 것은 패배하는 제안입니다

이 최근의 진전은 우리의 비즈니스 전략에 직접적이고 즉각적인 영향을 미칩니다. 사용 제한이 있는 구글 제품에 대해 돈을 지불할 사람이 누가 있겠습니까, 만약 그들에게 무료이고 고품질의 대안이 있다면?

그리고 우리가 따라잡을 수 있다고 기대해서는 안 됩니다. 현대 인터넷은 이유가 있어서 오픈 소스로 운영됩니다. 오픈 소스는 우리가 모방할 수 없는 몇 가지 중요한 장점을 가지고 있습니다."

여기서 구글은 오픈 소스를 사랑하는 것처럼 보입니다. 하지만 그것은 상당히 이기적이고, 뒤처져 있다는 것을 전적으로 인정하는 것 같습니다. 하지만, 이 순간에 그들은 매우 뒤처져 있습니다. 아주 뒤쳐져 있죠. 그리고, 그들은 OpenAI의 모델을 훔치고/스크래핑하는 쿠키 항아리에 손을 넣다 걸린 상태입니다.

한편으로는 오픈 소스의 장점을 예찬하며 이것이 진정한 발전 방향이라고 주장하고 있지만, 다른 한편으로는 그들이 보호하겠다고 맹세한 바로 그 것을 전략적으로 이용하려고 노력하고 있습니다. 이렇게 말하고 저렇게 행동하는 것입니다. 이제 우리는 그들이 Gemini Pro, Ultra, Nano 등을 적극적으로 개발하고 있다는 것을 알고 있습니다. 따라서 이 메모의 본질은 완전히 허위였습니다. 그리고 그 오픈 소스에 대한 열정적인 주장인 alpaca lora는 이미 구식이 되었습니다.

더 나아가 이전에 언급한 점을 강조합니다. 구글은 OpenAI에 대해 다시 언급하며 실시간으로 동일한 행동을 하고 있습니다.

"에필로그: OpenAI에 대해서는 어떻게 되나요?

OpenAI의 현재 폐쇄 정책을 감안할 때, 오픈 소스에 대한 모든 이야기는 불공평하게 느껴질 수 있습니다. 왜 우리만 공유해야 하나요, 만약 그들이 그렇게 하지 않는다면? 하지만 사실은, 우리는 이미 그들과 모든 것을 공유하고 있습니다. 선임 연구원들의 지속적인 유출 형태로 말이죠. 이 흐름을 막기 전까지는 비밀유지는 무의미한 문제입니다.

결국 OpenAI는 중요하지 않습니다. 그들은 오픈 소스와의 관계에서 우리가 저지른 동일한 실수를 하고 있으며, 그들이 우위를 유지할 수 있는 능력은 필연적으로 의문의 여지가 있습니다. 오픈 소스 대안들은 결국 그들을 추월할 것입니다, 만약 그들이 그들의 입장을 바꾸지 않는다면. 이런 점에서 적어도, 우리는 첫 번째 움직임을 할 수 있습니다."

시간이 흐른 후에 보면, 그것은 대단한 문서였습니다. 잘 나이지 않았죠.

이제 다른 회사들이 자신들의 채팅 모델을 발표하며, OpenAI의 모든 노력, 투자, 혁신을 무시무시하게 훔치고 있습니다.

https://beststocks.com/bytedances-anticipated-language-model-set-to/ 이 글은 이렇게 씌여 있습니다.

"ByteDances의 기대되는 언어 모델, 구글의 Gemini를 능가할 것으로 예상"

정말 대단한 주장이네요. GPT4를 훈련시킨 것을 넘어서 구글의 Gemini를 뛰어넘을 거라고 말입니다. 우리는 그들이 배후에서 실제로 무엇을 하고 있었는지 이제 알고 있습니다. https://www.theverge.com/2023/12/15/24003151/bytedance-china-openai-microsoft-competitor-llm

"ByteDance는 비밀리에 OpenAI의 기술을 사용하여 경쟁사를 만들고 있습니다.

'그들은 정말로 걸리고 싶지 않습니다.' 생성적 AI에서 이기기 위한 광분한 경쟁은 가장 큰 플레이어들마저 구석을 자르게 만듭니다."

ByteDance에 대한 혐의는 매우 심각하며 과소평가되어서는 안 됩니다. 그들은 이것을 하고 있습니다. CNN과 같은 레거시 미디어는 이 정보를 충분히 빠르게 따라잡지 못하고, Baidu가 중국에서 자체 LLM과 채팅 경험을 출시한다고 보도하고 있습니다. 하지만, 그것은 미국, OpenAI, 마이크로소프트의 뒷면에서 이루어지고 있습니다.

레거시 미디어는 요즘 무엇을 보도하는지 매우 주의해야 합니다. 그들은 정보를 충분히 빠르게 따라잡지 못하고 있으며, 그들이 '충분한 조사를 하고 있으므로 신뢰할 수 있다'는 주장과는 정면으로 배치됩니다.

Grok도 x.AI에서 적발되었습니다.

또한, 저는 이제 오픈 소스가 구글과 다른 회사들에게는 따라잡혔지만, GPT4에게는 아무것도 따라잡지 못했다고 확신합니다. 그들은 단연코 표준입니다.

그리고 저는 구글의 유출된 메모가 적어도 잘못 배치되었다고 믿습니다. 왜냐하면 그것이 '함께 모으자'고 호소하는 전쟁 외침으로 춤추고 있었지만, 실제로 그 노력을 진정으로 발전시키는 데 아무것도 하지 않았기 때문입니다. 그들은 여전히 이 새로운 AI 세계에 어떻게 적응할지, 그리고 그것이 AI를 위한 것인지 아니면 점점 더 뒤집히고 있는 검색 비즈니스를 위한 것인지 알아내려고 하고 있습니다.

하지만, 오픈 소스는 AI와 인류, 그리고 전체 커뮤니티에 있어 필수적입니다. 저는 메타와 얀 르쿤이 한 일에 박수를 보냅니다. 하지만 그들도 '게임을 사랑하기 때문에' 그렇게 하는 것은 아닐 수도 있습니다. 그리고 그들이 계속해서 오픈 소스 모델을 출시한다면 커뮤니티는 그들을 사랑할 것입니다.

하지만 그것은 메타가 출시하고 유지하는 가장 아름다운 종류의 오픈 소스입니다. 구글도 예전에는 그런 길을 걸었고, 대체로 여전히 그렇습니다. 구글은 실제로 놀라운 오픈 소스 제품을 출시하며, 그것들은 훌륭합니다. 어쩌면 구글이 OAI를 이길 수 없다면, 당신의 제품을 오픈 소스로 출시하세요. 그것은 분명히 당신의 클라우드 비즈니스에 도움이 될 것입니다. 당신을 좋은 빛에 비추어 줄 것입니다. 그리고 만약 당신이 진정으로 혁신적인 것을 창조하거나 만들면, 필요에 따라 그것을 폐쇄 소스로 전환할 수 있습니다.

한편으로, 우리는 오픈 소스를 두려워할 필요가 없습니다. 오히려 OAI-SOURCE를 두려워해야 합니다. 단순히 방어벽 문제가 아닙니다. OAI가 방어벽입니다. 현재까지는 말이죠.

저는 OAI가 GPT 4.5 시스템을 발표하지 않는 것은, 아마도 GPT4.5가 출시되자마자 즉시 스크랩되고 훔쳐질 것이기 때문일 것이라고 추측합니다. OAI는 Gemini Ultra가 출시되기 전까지 GPT4.5를 발표하지 않을 것입니다. 그렇게 하지 않는 것은 경영상의 부정행위이자 비즈니스 실수일 것입니다.

이 모든 것을 종합해보면, AI 산업은 현재 매우 역동적인 시기를 겪고 있습니다. 기술적 진보와 비즈니스 전략 사이의 긴장 관계, 오픈 소스와 폐쇄 소스 사이의 경쟁, 그리고 기업들 간의 지식과 혁신의 흐름이 매우 복잡하게 얽혀 있습니다. 이러한 상황 속에서 OpenAI는 여전히 중요한 역할을 하고 있으며, 그들의 다음 움직임이 업계에 어떤 영향을 미칠지 주목하는 것이 중요합니다.

AI 분야에서의 혁신과 발전은 단순히 기술적인 문제를 넘어서, 어떻게 이러한 기술이 개발되고, 배포되며, 사용되는지에 대한 광범위한 질문을 제기합니다. 이것은 기술, 비즈니스, 윤리, 그리고 사회적 관점에서의 균형을 요구하는 복잡한 영역입니다.

-------------------

요약:

위의 내용은 AI 산업, 특히 OpenAI와 관련된 최근의 동향과 경쟁에 대해 다루고 있습니다. 핵심 내용은 다음과 같습니다:

1. **OpenAI와 GPT-4의 영향력**: GPT-3와 GPT-4는 업계에 큰 영향을 끼쳤으며, 특히 구글과 같은 대기업들에게 큰 도전이 되었습니다. 이로 인해, 구글은 '코드 레드'를 선포하고 AI 분야에 집중하기 시작했습니다.

2. **구글의 내부 동향**: 구글은 자체 AI 기술, 특히 '바드' 개발에 집중하고 있으며, 이 과정에서 OpenAI의 데이터를 사용했다는 내부 비난을 받았습니다. 또한, 구글은 오픈 소스 AI 모델의 발전과 그것들이 구글의 비즈니스 전략에 미치는 영향에 대한 메모를 유출시켰습니다. 이 메모에서 구글은 오픈 소스 AI 모델의 강점과 구글의 AI 모델에 대한 상대적인 약점을 인정합니다.

3. **오픈 소스 AI의 성장**: 오픈 소스 AI 모델, 특히 LoRA 기술은 빠른 반복 개선과 낮은 비용으로 인해 높은 관심을 받고 있습니다. 이는 기존의 대형 AI 모델보다 유연하고 접근성이 높아 새로운 혁신을 촉진할 수 있습니다.

4. **경쟁사의 동향**: ByteDance와 Baidu와 같은 중국 기업들은 OpenAI의 기술을 기반으로 자체 AI 모델을 개발하고 있으며, 이러한 움직임은 업계에서 논란의 여지가 있는 행동으로 여겨지고 있습니다. 이는 특히 OpenAI의 기술을 사용하는 방식에 대한 윤리적, 법적 문제를 제기합니다.

5. **OpenAI의 전략과 GPT-4.5**: OpenAI는 GPT-4.5 모델의 출시를 미루고 있는 것으로 보이며, 이는 경쟁사들에 의한 기술 유출과 스크랩을 방지하기 위한 전략적 결정으로 해석됩니다.

[익명(202.14)]

유출 때문인건가

[울트론(4fq9gg9svgjn)]

그럼 공개안할거임? 언젠간 할거아냐. 하면 유출될텐데. 그럼 영원히 공개없이 가냐? ㅋㅋ

[익명(ascent)]

저러면 갑자기 조용하다가 agi 내놓을수도 있는거냐

[익명(61.81)]

짱개가 카피하는건 기분나쁘네

[익명(121.190)]

The Ockham's razor - it's simply not ready

[익명(58.231)]

크리스마스에 예정대로 나오는데 - dc App

[익명(pqu5mua3haa7)]

레딧 댓글만 봐서는 대차게 까이고 있긴 해

[익명(14.32)]

행복회로 오지게 돌리고 있네 진짜