1ebec223e0dc2bae61ab96e746837170bd0203a3346c1f024a59793622515b4eae0cad822c44352bc1b6e24134a264fab00bb7c1

폐쇄형 AI는 어제의 체스 엔진과 같다

요약: 오늘날 폐쇄형 AI가 우월해 보일지 모르지만, 장기적으로는 지고 있습니다. 현실적인 제약 조건들이 있으며, 체스 엔진 개발 역사에서 얻을 수 있는 통찰이 있습니다.



체스 애호가로서, 일부 사람들이 AI가 계속 폐쇄형으로 남을 것이라고 생각하는 것을 보면 웃음이 나옵니다. 많은 사람은 아니겠지만(그러길 바랍니다), 여전히 상당수가 예를 들어 OpenAI의 현재 폐쇄형 모델이 장기적으로 승리할 것이라고 믿는 것 같습니다.


저는 체스가 LLM 연구와 놀라울 정도로 유사하기 때문에 적절한 비유라고 생각합니다.


우선, 현대 체스 엔진은 다양한 크기의 신경망을 사용합니다. LLM과 가장 유사한 것은 Lc0의 트랜스포머 아키텍처 구현입니다. 훈련 방식에서도 뚜렷한 유사점을 볼 수 있습니다. 둘 다 방대한 양의 데이터를 사용하고 잠재적으로 다양한 강화학습(RL) 방법을 활용합니다.


다음으로, 체스는 AI가 당시에는 거의 불가능해 보일 정도로 빠르게 발전한 분야입니다. 20년도 채 안 되어 체스 AI 연구는 초인적인 결과를 달성했습니다. 오늘날 체스 AI의 많은 알고리즘 혁신은 자율 주행 자동차, 경로 탐색, 심지어 LLM 자체와 같은 분야에도 구현되고 있습니다 (추론 LLM에 적용되는 트리 탐색을 보세요 – 이는 제 생각에 아직 덜 개발된 영역이며 더 많은 연구가 이루어지길 바랍니다).


또한 막대한 양의 컴퓨팅 자원을 필요로 합니다. 체스 엔진 효율성은 계속 향상되고 있지만, 일반적으로 신뢰할 수 있는 결과를 얻으려면 상당한 컴퓨팅(CPU 및 GPU)이 필요합니다. 이는 추론 LLM에서의 테스트 시간 스케일링(test-time scaling)과 유사합니다. (사실, 일부 LLM 연구자들은 추론을 위해 체스 엔진 검색 알고리즘에서 영감을 얻었거나 계속 얻고 있을 것이라고 추측합니다 – DeepMind 사람들이 이것으로 유명하죠?) 체스 엔진은 단 몇 초 만에도 놀라운 성능을 보이지만, 더 많은 컴퓨팅 자원이 투입될수록 성능은 확실히 향상됩니다. 우리는 수천 개의 CPU 스레드를 사용하는 서버에서 실행되는 Stockfish나 초고가 GPU 설정에서 실행되는 Leela Chess Zero (Lc0)를 봅니다.


따라서 여기서 체스 엔진과의 몇 가지 유사점을 도출할 수 있다고 생각합니다.


1. 컴퓨팅 수요는 계속 커질 것이다.


최초의 딥블루(Deep Blue)는 그 시대의 거대한 기계였습니다. 딥블루를 지배적으로 만든 것은 독창적인 설계뿐만 아니라, IBM이 투입한 막대한 컴퓨팅 성능 덕분에 더 작은 컴퓨터가 계산할 수 없는 것들을 계산할 수 있었기 때문입니다. 하지만 딥블루조차도 알파제로(AlphaZero)가 훈련에 사용한 GPU 시간에 비하면 아무것도 아닙니다. 그리고 그것은 현대 체스 엔진이 매 순간 훈련, 테스트, 평가에 사용하는 에너지에 비하면 또 아무것도 아닙니다.


물론 효율성은 높아지고 있습니다. 오늘날의 엔진은 동일한 하드웨어에서 더 나은 성능을 냅니다. 하지만 스케일링 패러다임은 여전히 유효합니다. 엔진 개발자들은 (바람직하게는) 주로 "어떻게 하면 거대한 머신에서 더 나은 결과를 얻을 수 있을까?"에 집중합니다. 이는 더 큰 네트워크, 더 긴 테스트 시간 제한 등을 의미합니다. 왜냐하면 궁극적으로 그것들이 기술의 최전선을 밀어붙이기 때문입니다. 순수 연구(기본 아키텍처 제외)에서 효율성은 부차적인 문제입니다.


게다가 LLM에 대한 수요는 체스 엔진보다 훨씬 더 큽니다. 하나는 틈새 상품이고, 다른 하나는 거의 모든 사람에게 직접적인 가치를 제공합니다. 이는 미래의 LLM 컴퓨팅 수요를 예측하는 것이 불가능하다는 것을 의미합니다. 하지만 합리적인 추측을 해볼까요? 사용자 수와 스케일링 요구 모두로 인해 기하급수적으로 증가할 것입니다. 구글이 아무리 큰 설비를 갖추고 있다 해도, 전 세계 컴퓨팅의 극히 일부만을 보유하고 있을 가능성이 높습니다. FLOPs 기준으로 보면 아마 1% 미만일까요? 확실히 몇 퍼센트 포인트를 넘지 않을 것입니다. 어떤 단일 회사도 자체 중앙 컴퓨팅 풀에서 지배적인 폐쇄형 모델을 서비스할 수는 없습니다. 시도할 수는 있고, 아마 괜찮은 수익을 올릴 수도 있겠지만, 근본적인 컴퓨팅 제약 때문에 이런 방식으로는 시장 점유율의 대부분을 차지할 수 없습니다.


2. 그렇게 독점적이지 않다.


오늘날 폐쇄형 대 개방형 AI 경쟁은 치열합니다. 플레이어들은 끊임없이 서로를 앞서 나가려고 합니다. 벤치마크에서 다음 주자는 누가 될까요? DeepSeek일까요, 아니면 <다른 회사 이름>일까요…? 초기 체스 AI가 생각납니다. 딥블루 – 독점적. 초기의 많은 최고 엔진들 – 독점적. 알파제로 – (여전히!) 독점적.


그래서 뭐 어떻다는 걸까요?


이 모든 것들은 오늘날 너무나, 너무나 구식입니다. 어떤 강력한 오픈소스 엔진이라도 이들을 100-0으로 이깁니다. 처음에는 독점적이지만, 그렇게 유지되지 않을 것입니다. 기술, 알고리즘 및 훈련 방법에 대한 논문은 공개되어 있습니다. 컴퓨팅 자원은 점점 더 접근하기 쉬워지고 있습니다.


LLM과 같은 금광이 있을 때, 전 세계가 그것을 연구합니다. 오늘 당신이 한 걸음 앞서 있을지 모르지만, 장기적으로 그 격차는 미미합니다. 100명의 연구팀이 전 세계 수십만 명의 연구자들의 집단적인 노력을 이길 수는 없습니다.


체스 연구 초기에는 오픈소스가 분열되어 있었고 자원도 흩어져 있었습니다. 이것이 바로 기업들이 팀을 구성하고 서버를 제공하여 우수한 엔진을 만들 수 있었던 주된 이유입니다. 오픈소스에서는 1인 팀이 흔했고, 취미 프로젝트, 몇몇 친구들이 멋진 것을 만드는 식이었습니다. 오늘날 Stockfish의 기반인 Glaurung은 한 사람이 만들었고, 그 후 몇몇 다른 사람들이 합류했습니다. 오늘날에는 수백 명의 기여자가 있으며, 각자가 작은 부분을 더합니다. 이 모든 조각들이 모여 큰 힘을 발휘합니다.


무엇이 이러한 전환을 야기했을까요? 아마도: a) 집단적 관심 증가. b) 브레인스토밍을 위해 큰 팀이 필요하다는 깨달음 – 반드시 개개인이 천재는 아니지만 자연스럽게 다양한 아이디어를 가진 사람들. 모두가 아이디어를 던지면, 일부는 성공할 것입니다. c) 상호 이익 모델: 연구자들은 테스트를 위해 크고 개방된 컴퓨팅 풀에 접근할 수 있고, 그 대가로 기여합니다.


저는 이 모든 것이 LLM에도 적용된다고 생각합니다. 작은 팀만으로는 멀리 갈 수 없습니다. 이것은 새로운 분야입니다. 모든 것이 아이디어와 대규모 실험에 달려 있습니다. 최고의 체스 엔진 기여자들에게 물어보세요. 그들은 자신들이 천재가 아니라고 말할 것입니다 (보드카에 취하지 않았다면 말이죠 ;) ). 그들은 수많은 미친 아이디어를 던져보고 무엇이 효과가 있는지 확인하는 방식으로 일합니다. 이것이 바로 새롭고 미지의 분야에서 개발이 이루어지는 방식입니다. 그리고 이것이 바로 오픈소스 커뮤니티가 성공적으로 활용할 수 있는 개발 모델을 만든다면, 그 무한한 재능 때문에 믿을 수 없을 정도로 강력해지는 지점입니다.


흥미로운 사례 연구: 1~2년 전, chess.com(악명 높게 체스 시장을 독점하려 함)은 자체 엔진인 Torch를 개발하려고 시도했습니다. 그들은 훌륭한 인재, 혼자서 최고의 엔진을 만들었던 경험 많은 사람들을 고용했습니다. 기업 자원을 가지고 있었고, 제 추정으로는 전체 Stockfish 프로젝트와 비슷하거나 더 많은 컴퓨팅 자원을 가졌을 것입니다. 그들은 풀타임으로 일했습니다.


초기에 Lc0와 막상막하이고 때로는 Stockfish보다 겨우 50 Elo 정도 뒤처지는 훌륭한 결과를 낸 후, 그들은 야심 차게 목표가 1위가 되는 것이라고 말했습니다.


그런 일은 일어나지 않았습니다. 대신 개발은 정체되었습니다. 그들은 Stockfish보다 약 50 Elo 뒤처진 상태에 머물렀습니다. 왜일까요? 아무도 모릅니다. 어떤 사람들은 Stockfish에 "비밀 레시피"(훈련 데이터/코드를 포함하여 완전히 오픈소스라는 점을 고려하면 역설적이지만)가 있다고 말합니다. 어떤 사람들은 Torch에 더 많은 자원/인력이 필요했다고 말합니다. 개인적으로, 그들이 Stockfish의 알고리즘을 노골적으로 베끼지 않는 한 별 차이가 없었을 것이라고 생각합니다.


요점은, 대기업조차도 거의 10년간의 오픈소스 기반을 쉽게 뒤집을 수 없다는 것을 발견했거나, 적어도 그럴 만한 자원 가치가 없다는 것을 깨달았다는 것입니다.


오픈소스는 (어떤 면에서는?) 마라톤과 같습니다. 잠시 앞서 나갈 수는 있습니다 – 예를 들어 알파제로가 당시 Stockfish보다 훨씬 높은 Elo 우위를 주장했던 유명한 발표처럼 말이죠. 하지만 그 후 Stockfish는 1년 정도 만에 그것을 추월했습니다.


*작은 부연 설명: 물론 기업은 여러 가지 방식으로 경쟁에서 "이길" 수 있습니다. 여기서 저는 단지 기술적 우위를 달성하고 유지하는 것만을 "이기는 것"으로 언급하는데, 이는 아마도 매우 좁은 관점일 것입니다.*


그저 제 짧은 생각일 뿐이고, 많은 점에서 틀릴 수도 있겠지만, 맞았으면 좋겠습니다.




1ebec223e0dc2bae61ab96e746837170bd0203a3346c1f024a59793622555b4e0fa13bf8b7e93ccead30536e4b7cc5c118da251ecaf5



원문 링크