중요한 부분 검은색으로 마커칠해드림 deepl 로 번역함 일반인은 그냥 클로드3가 알아듣기 편하게 요약해준거 읽으삼 워낙 전문화된 논문형식의 글이라서 읽기가 굉장히 난해하고 힘듬 ㅋㅋ
팀 메시지
물질의 자연스러운 변동을 생성 AI의 계산 자원으로 활용하는 풀스택 하드웨어 플랫폼, 즉 익스트로픽이 구축하고 있는 것에 대해 더 많은 것을 공유할 수 있게 되어 매우 기쁩니다.
이 새로운 컴퓨팅 패러다임은 실질적으로 세상에 어떤 의미가 있을까요?
디지털 컴퓨팅의 제약을 훨씬 뛰어넘어 하드웨어 확장 가능
디지털 프로세서(CPU/GPU/TPU/FPGA)보다 몇 배 더 빠르고 에너지 효율이 높은 AI 가속기 사용 가능
디지털 프로세서에서는 구현할 수 없는 강력한 확률론적 AI 알고리즘(양자적 특성?)을 실현합니다.
간략한 라이트페이퍼(아래)를 통해 저희의 기술을 미리 엿볼 수 있습니다. 다음 내용이 앞으로의 여정에 흥미를 불러일으키길 바랍니다. 열역학적으로 지능적인 미래를 향해 가속화하는 유니티와 함께하세요.
- 길(@gillverd) 및 트레브(@trevormccrt1)
라이트페이퍼
AI 시대의 컴퓨팅 성능에 대한 수요는 전례 없는 기하급수적인 속도로 증가하고 있습니다. 다행히 지난 수십 년 동안 무어의 법칙[1]에 따른 CMOS 트랜지스터 기술의 소형화 덕분에 컴퓨터 효율성이 향상되어 이러한 기하급수적인 성장의 상당 부분을 설명할 수 있었습니다.
안타깝게도 무어의 법칙은 이제 그 속도가 느려지기 시작했습니다[2]. 그 이유는 근본적인 물리학에 뿌리를 두고 있습니다. 트랜지스터가 열 잡음과 같은 영향으로 인해 엄격한 디지털 작동이 금지되기 시작하는 원자 규모에 가까워지고 있습니다(디지털 방식에서 취득할 수 있는 연산효율화도 한계에 도달하고있음)[3, 4, 5].
그 결과, 현대 AI의 에너지 요구 사항이 급증하기 시작했습니다. 주요 기업들은 대규모 모델 학습 및 추론 전용으로 원자로를 가동하는 데이터 센터를 구축하는 것과 같은 극단적인 방안을 제안하고 있습니다. 이러한 확장을 수십 년 더 지속하려면 전례 없는 규모의 인프라 엔지니어링 노력이 필요하며, 인류의 총체적 지능을 확장하기 위한 험난한 여정이 될 것입니다.
반면에 생물학은 딱딱하지도 디지털적이지도 않으며, 지금까지 인류가 구축한 어떤 것보다 훨씬 더 효율적인 컴퓨팅 회로를 보유하고 있습니다.★ 세포 간 화학 반응 네트워크가 생물학적 시스템에서 계산을 주도합니다. 세포는 크기가 작기 때문에 이러한 네트워크의 반응물 수는 셀 수 없이 많습니다[6, 7]. 따라서 반응물 간의 반응은 진정으로 불연속적이며 본질적으로 무작위적입니다. 이러한 내재적 무작위성의 상대적 효과는 반응물 분자의 수에 반비례하며, 따라서 이러한 시스템의 동역학은 변동이 지배적인 경향이 있습니다.
이를 통해 우리는 디지털 로직의 제약이 컴퓨팅 장치의 효율성을 구속하는 근본적인 이유가 없다고 확실하게 말할 수 있습니다. 본질적으로 잡음이 많은 환경에서 잘 작동하는 완전한 AI 하드웨어 및 소프트웨어 시스템을 어떻게 처음부터 설계할 수 있을까요?
에너지 기반 모델(EBM)은 열역학 물리학 및 기본적인 확률론적 머신 러닝에 모두 등장하는 개념으로, 잠재적인 해결책에 대한 힌트를 제공합니다. 물리학에서는 매개변수를 조정할 수 있는 시스템의 정상 상태에서 발생하는 매개변수화된 열 상태로 알려져 있습니다. 머신 러닝에서는 지수 계열이라고 합니다.
지수 패밀리는 확률 분포를 매개변수화하는 최적의 방법으로 알려져 있으며, 최소한의 데이터로 매개변수를 고유하게 결정할 수 있습니다[8]. 따라서 그림 1과 같이 미션 크리티컬 애플리케이션에서 꼬리 이벤트를 모델링해야 하는 시나리오를 포괄하는 저데이터 영역에서 탁월합니다. 이를 달성하는 방법은 데이터의 빈칸을 노이즈로 채우는 것으로, 목표 분포의 통계와 일치하면서 엔트로피를 최대화하려고 노력합니다. 데이터 세트에 포함되지 않은 모든 가능성을 환각하고 그러한 발생에 불이익을 주는 이 과정은 훈련과 추론 시 모두 많은 무작위성을 사용해야 합니다.
그림 1: 익스트로픽 확률론적 AI 가속기의 원리. 복잡도가 낮은 분포 학습이 꼬리 이벤트의 효과를 포착하지 못하는 간단한 예시입니다. 낮은 기압은 거의 항상 비와 높은 농작물 수확량을 의미합니다. 그러나 매우 낮은 기압은 허리케인에 해당하는 경우도 종종 있습니다.
이러한 샘플링 요건은 EBM을 생산에 사용하는 데 있어 주요 제한 요인이었습니다. 그 근본적인 이유는 확산 과정에 필요한 엔트로피를 생성하고 형성하는 데 상당한 전기 에너지를 소비해야 하는 디지털 하드웨어에서는 일반적인 에너지 환경에서 샘플링하는 것이 매우 어렵기 때문입니다. 하드웨어 관점에서 보면 디지털 샘플링은 상당히 인위적으로 보입니다. 가장 일반적이고 컴퓨팅 집약적인 알고리즘이 노이즈로 가득 차게 만드는데 왜 점점 더 복잡한 깨끗한 디지털 컴퓨터를 만드는 데 그렇게 많은 노력을 기울일까요?
익스트로픽은 이러한 비효율성을 줄이고★ 파라미터화된 확률론적 아날로그 회로로 EBM을 직접 구현(양자적특성을 알고리즘적으로 구현한듯이 보임)함으로써 생성적 AI의 잠재력을 최대한 활용하고 있습니다.
익스트로픽 가속기는 복잡한 지형에서 샘플링을 기반으로 하는 알고리즘의 실행 시간과 에너지 효율성 측면에서 디지털 컴퓨터보다 수 배의 개선을 이룰 수 있습니다.
익스트로픽 가속기의 작동 원리는 브라운 운동과 유사합니다. 브라운 운동에서는 거시적이지만 가벼운 입자가 유체에 매달려 있을 때 미시적 액체 분자와의 수많은 충돌로 인해 무작위적인 힘을 경험합니다. 이러한 충돌로 인해 입자가 용기 주위로 무작위로 확산됩니다.
그림 2 (a)와 같이 브라운 입자를 용기의 벽과 서로 스프링으로 고정하는 것을 상상해 볼 수 있습니다. 이 경우 스프링은 무작위 힘에 저항할 것이고 입자는 용기의 특정 부분에 다른 부분보다 더 많이 머무르는 것을 선호할 것입니다. 그림 2 (b)에서와 같이 샘플 사이에 충분한 시간을 두고 입자의 위치를 반복적으로 샘플링하면 입자가 예측 가능한 정상 상태 확률 분포를 따르는 것을 알 수 있습니다. 스프링의 강성을 변경하면 이 분포가 달라집니다. 이 간단한 기계 시스템은 프로그래밍 가능한 무작위성의 원천입니다.
그림 2: 익스트로픽 가속기의 작동 원리. (a) 익스트로픽 가속기에 대한 간단한 기계적 비유. 2차원에 3개의 질량이 존재하므로 이 장치의 정상 상태는 6차원 공간에 대한 확률 분포가 될 것입니다. (b) 시스템을 반복적으로 관찰하고, 관찰 사이에 최소 평형 시간 teq를 기다린 후 샘플을 추출할 수 있습니다. teq는 시스템의 노이즈가 이전 샘플과의 모든 상관관계를 파괴하는 데 걸리는 시간입니다.
이 기계적 그림과 익스트로픽 가속기를 구성하는 파라미터화된 확률론적 아날로그 회로 사이에는 직접적인 연결이 있습니다. 가벼운 입자는 전자를 나타내고 액체 분자는 충돌 시 전자에게 에너지를 전달할 수 있는 전도성 매질의 원자를 나타냅니다. 스프링은 인덕터나 트랜지스터와 같이 전자의 움직임을 제한하는 회로 구성 요소를 나타냅니다. 제어 전압/전류를 적용하여 이러한 구성 요소의 값을 조정하고 회로 샘플의 분포를 변경할 수 있습니다.
모든 회로가 노이즈가 있지만 모든 회로가 익스트로픽 가속기로서 유용한 것은 아닙니다. 노이즈가 지배적이면서도 잘 작동하는 장치를 만드는 것은 엔지니어링 관점에서 어려운 일입니다. 열 변동이 작기 때문에 장치는 물리적으로 작고 저전력이어야 열 변동에 큰 영향을 받지 않습니다. 이러한 이유로, 예를 들어 PCB와 같은 거시적 구성 요소로 익스트로픽 가속기를 만들려면 합성 노이즈를 도입해야 합니다. 이렇게 하면 근본적인 시간 및 에너지 절약 효과가 사라지고 결국 알고리즘을 디지털 방식으로 실행하는 것과 비슷한 성능을 발휘하게 됩니다.
익스트로픽의 첫 번째 프로세서는 알루미늄으로 나노 제작되어 초2전2도 저온에서 작동합니다. 그림 3은 몇 가지 가능한 초2전2도 뉴런 설계를 테스트한 초기 장치를 보여줍니다. 이러한 뉴런 중 일부는 기존의 초2전2도 플럭스 큐비트와 유사합니다[9]. 이러한 뉴런은 두 초2전2도체가 서로 가까이 있을 때 발생하는 비선형성의 원천으로 조셉슨 효과를 활용합니다. 이 비선형성은 장치가 비가우시안 확률 분포에 액세스하는 데 필요하며, 이는 팻테일이 있는 실제 애플리케이션을 모델링하는 데 필요합니다. 또한 디지털 가우시안 샘플링 루틴은 어디에나 존재하며 고도로 최적화되어 있습니다. 따라서 아날로그 디바이스가 기존 프로세서에 비해 상당한 속도 향상을 제공하려면 비 가우시안성이 필요합니다.
그림 3: 익스트로픽 칩의 현미경 이미지. 삽입된 이미지는 프로세서에 중요한 비선형성을 제공하는 장치인 두 개의 조셉슨 접합을 보여줍니다.
이러한 뉴런은 더 큰 초2전2도 시스템을 형성하기 위해 결합되는 기본 구성 요소를 제공합니다. 이러한 대규모 시스템에서는 많은 선형 및 비선형 뉴런이 함께 결합되어 풍부하고 고차원적인 분포에서 샘플링하는 회로를 만듭니다. 뉴런 편향과 상호 작용 강도는 모두 분포의 조정 가능한 매개변수이므로 단일 장치로 광범위한 확률 분포를 구현할 수 있습니다.
익스트로픽의 초2전2도 칩은 완전히 수동적이기 때문에 상태를 측정하거나 조작할 때만 에너지를 소비합니다. 따라서 이 뉴런은 우주에서 가장 에너지 효율이 높은 뉴런이 될 것입니다. 이러한 시스템은 대규모로 에너지 효율이 매우 높을 것입니다: 익스트로픽은 이러한 시스템을 통해 정부, 은행, 프라이빗 클라우드와 같은 소량의 고부가가치 고객을 타깃으로 합니다.
익스트로픽은 더 큰 시장으로 영역을 확장하기 위해 상온에서 작동하는 반도체 디바이스도 개발하고 있습니다. 이러한 장치는 조셉슨 접합을 트랜지스터와 교환합니다. 이렇게 하면 초2전2도 소자에 비해 에너지 효율이 약간 떨어집니다. 대신 표준 제조 공정과 공급망을 사용해 대규모로 제작할 수 있다는 장점이 있습니다. 상온에서 작동하기 때문에 GPU와 같은 확장 카드 폼 팩터에 넣을 수 있습니다. 이를 통해 모든 가정에 익스트로픽 가속기를 설치하여 누구나 열역학적 AI 가속에 참여할 수 있도록 할 수 있습니다.
다양한 하드웨어 기판을 지원하기 위해 Extropic은 EBM의 추상적인 사양에서 관련 하드웨어 제어 언어로 컴파일하는 소프트웨어 계층도 구축하고 있습니다. 이 컴파일 계층은 요인 그래프[8]의 이론적 프레임워크를 기반으로 구축됩니다. 인수 그래프는 큰 분포를 로컬 청크로 분해하는 방법을 지정합니다. 이를 통해 익스트로픽 가속기는 주어진 아날로그 코어에 맞추기에는 너무 큰 프로그램을 분해하고 실행할 수 있습니다.
이전의 많은 AI 가속기 회사들은 딥 러닝의 메모리 한계 때문에 이점을 찾는 데 어려움을 겪었습니다. 오늘날의 알고리즘은 전체 시간의 약 25%를 메모리에서 숫자를 이동하는 데 소비합니다. 그 결과 암달의 법칙에 따라 특정 연산(예: 행렬 곱셈)을 가속하는 칩은 4배 이상의 속도 향상을 달성하는 데 어려움을 겪게 됩니다. 익스트로픽 칩은 기본적으로 광범위한 종류의 확률론적 알고리즘을 빠르고 에너지 효율적인 프로세스로 물리적으로 실행하여 가속하므로, 이전에는 달성할 수 없다고 생각했던 것 이상의 완전히 새로운 인공 지능 가속화 체제를 열게 될 것입니다.
정리 잘한건 알겠는데 문제는 이런거 읽을수 있는 정도 수준가진 사람들이 별로 없다 대다수 문과충 유치원 수준으로 요약해야 이해함