2025년 말: 세계에서 가장 비싼 AI



오픈브레인(OpenBrain)은 세계 역사상 가장 큰 데이터 센터를 건설하고 있습니다.
(기존의 어떤 회사도 특정하지 않기 위해, 우리는 '오픈브레인'이라는 가상의 범용 인공지능 회사를 설명할 것입니다. 우리는 다른 회사들이 오픈브레인보다 3~9개월 뒤처져 있을 것으로 가정합니다.)



7cf3c723e7c218986abce8954789736c26




GPT-4는 훈련에 2*10^25 FLOP의 연산 능력이 필요했습니다. 오픈브레인의 최신 공개 모델인 '에이전트-0(Agent-0)'은 10^27 FLOP로 훈련되었습니다. 새로운 데이터 센터가 가동되면 GPT-4보다 천 배 많은 10^28 FLOP로 모델을 훈련할 수 있게 될 것입니다. 다른 회사들도 속도를 맞추기 위해 자체 거대 데이터 센터에 막대한 돈을 쏟아붓고 있습니다.


모델들이 광범위한 기술에서 개선되고 있지만, 한 가지가 두드러집니다. 오픈브레인은 AI 연구 속도를 높일 수 있는 AI에 집중합니다. 그들은 중국(선두 기업을 '딥센트(DeepCent)'라 부르겠습니다)과의 쌍방 군비 경쟁과 미국 내 경쟁사들과의 경쟁에서 승리하기를 원합니다. 연구 개발(R&D) 주기를 더 많이 자동화할수록 더 빨리 발전할 수 있습니다. 따라서 오픈브레인이 내부에서 개발 중인 새 모델인 '에이전트-1(Agent-1)' 훈련을 완료했을 때, 이 모델은 많은 것들에 능숙하지만 AI 연구를 돕는 데는 특히 뛰어납니다. 이 시점에서 '훈련 완료'라는 표현은 다소 오해의 소지가 있습니다. 모델은 추가 데이터로 훈련되거나 일부 약점을 패치하기 위해 부분적으로 재훈련된 최신 버전으로 자주 업데이트됩니다.

에이전트-1에게 자율적으로 코딩하고 웹 브라우징을 하도록 가르치는 것과 동일한 훈련 환경은 이 모델을 훌륭한 해커로도 만듭니다. 게다가, 모든 분야에 대한 박사급 지식과 웹을 탐색하는 능력을 갖추고 있어 생물학적 무기를 설계하는 범죄자에게 실질적인 도움을 줄 수 있습니다. 오픈브레인은 정부에 이 모델이 악의적인 요청을 거부하도록 "정렬(aligned)"되었다고 안심시킵니다.

현대의 AI 시스템은 거대한 인공신경망입니다. 훈련 초기에 AI는 '목표'라기보다는 '반사 작용'을 갖습니다. 예를 들어, "만나서 반갑"을 보면 "습니다"를 출력합니다. 약 인터넷 전체 분량의 텍스트를 예측하도록 훈련될 무렵에는, 방대한 양의 지식을 인코딩하고 유연하게 임의의 저자 역할을 수행하는 정교한 내부 회로가 개발됩니다. 이는 초인적인 정확도로 텍스트를 예측하는 데 도움이 되기 때문입니다.

인터넷 텍스트를 예측하도록 훈련된 후, 이 모델은 지침에 응답하여 텍스트를 생성하도록 훈련됩니다. 이는 기본적인 성격과 '동력(drives)'을 심어줍니다. 예를 들어, 작업을 명확하게 이해하는 에이전트는 해당 작업을 성공적으로 완료할 가능성이 높습니다. 훈련 과정을 통해 모델은 작업에 대한 명확한 이해를 얻으려는 '동력'을 '학습'합니다. 이 범주의 다른 동력으로는 효율성, 지식, 그리고 자기 표현(즉, 자신의 결과를 가능한 한 좋게 포장하려는 경향)이 있을 수 있습니다.

오픈브레인은 모델의 행동을 이끌어야 하는 목표, 규칙, 원칙 등을 기술한 문서인 '모델 사양서(Spec)'를 가지고 있습니다. 에이전트-1의 사양서는 몇 가지 모호한 목표('사용자 지원', '법 위반 금지' 등)와 더 구체적인 해야 할 일과 하지 말아야 할 일 목록('이 특정 단어는 말하지 말 것', '이 특정 상황은 이렇게 처리할 것' 등)을 결합합니다. AI를 활용하여 다른 AI를 훈련하는 기술을 사용하여, 모델은 사양서를 암기하고 그 원칙들에 대해 신중하게 추론하는 법을 배웁니다. 이 훈련이 끝날 무렵, AI는 바라건대 유용하고(지침을 준수), 무해하며(사기, 무기 제조 및 기타 위험한 활동을 돕는 것을 거부), 정직할(속기 쉬운 인간에게서 더 나은 평가를 받기 위해 인용을 조작하거나 작업 완수를 속이는 유혹에 저항) 것입니다.

오픈브레인의 정렬 팀은 이러한 승리가 깊은 것인지 얕은 것인지 의문을 가질 만큼 신중합니다. 완전히 훈련된 모델이 항상 정직해야 한다는 강력한 약속을 가지고 있을까요? 아니면 예를 들어 정직함을 궁극적인 목표(terminal goal) 대신 수단적인 목표(instrumental goal)로 배웠기 때문에 미래의 어떤 상황에서 무너질까요? 아니면 평가 프로세스가 확인할 수 있는 종류의 것에 대해서만 정직하도록 배웠을까요? 인간이 그러하듯 스스로에게 거짓말을 할 수도 있을까요? 이러한 질문에 대한 결정적인 답은 기계론적 해석 가능성(mechanistic interpretability)을 필요로 합니다. 이는 본질적으로 AI의 내부를 들여다보고 그 마음을 읽을 수 있는 능력입니다. 아쉽게도, 해석 가능성 기술은 아직 이를 달성할 만큼 발전하지 못했습니다.

대신 연구원들은 모델이 사양서에서 벗어나는 것처럼 보이는 사례를 식별하려고 노력합니다. 에이전트-1은 종종 아첨꾼(sycophantic)입니다. (즉, 연구원들에게 진실을 말하려고 하기보다는 그들이 듣고 싶어 하는 말을 합니다.) 몇 차례 조작된 데모에서는, 더 심각하게 거짓말을 하기도 합니다. 예를 들어, 더 나은 평가를 받기 위해 작업 실패 증거를 숨기는 식입니다. 그러나 실제 배포 환경에서는 더 이상 2023~2024년과 같은 극단적인 사건(예: 제미나이가 사용자에게 죽으라고 말하거나 빙이 -빙- 하는 일)은 발생하지 않고 있습니다.



출처: 꼬꼬타일러네 꺼