기능: 할라 포인트는 주류 AI 워크로드에서 최첨단 연산 효율성을 입증한 최초의 대규모 뉴로모픽 시스템입니다. 특성 분석 결과, 기존 심층 신경망을 실행할 때 와트당 초당 15조 8비트 연산(TOPS/W)을 초과하는 효율로 초당 2경 연산, 즉 20페타ops를 지원할 수 있는 것으로 나타났습니다. 이는 그래픽 처리 장치(GPU)와 중앙 처리 장치(CPU)를 기반으로 구축된 기존 아키텍처가 달성한 수준에 필적하거나 이를 뛰어넘는 수준입니다. 할라 포인트의 고유한 기능은 향후 과학 및 엔지니어링 문제 해결, 물류, 스마트 시티 인프라 관리, 대규모 언어 모델(LLM) 및 AI 에이전트와 같은 AI 애플리케이션을 위한 실시간 연속 학습을 가능하게 할 수 있습니다.
활용 방안: 샌디아 국립연구소의 연구원들은 고급 두뇌 규모 컴퓨팅 연구에 할라 포인트를 사용할 계획입니다. 이 조직은 장치 물리학, 컴퓨터 아키텍처, 컴퓨터 과학 및 정보학 분야의 과학 컴퓨팅 문제를 해결하는 데 집중할 것입니다.
할라 포인트 소개: 할라 포인트의 기반이 되는 로이히 2 뉴로모픽 프로세서는 비동기식 이벤트 기반 스파이크 신경망(SNN), 통합 메모리 및 컴퓨팅, 희소하고 지속적으로 변화하는 연결 등 뇌에서 영감을 얻은 컴퓨팅 원리를 적용하여 에너지 소비와 성능을 대폭 향상시켰습니다. 뉴런은 메모리를 통해 통신하는 대신 서로 직접 통신하여 전체 전력 소비를 줄입니다.
할라 포인트는 전자레인지 크기의 6U 데이터센터 섀시에 1,152개의 로이히 2 프로세서를 패키지화했습니다. 이 시스템은 최대 2,600와트의 전력을 소비하며 140,544개의 뉴로모픽 프로세싱 코어에 분산된 최대 11억 5,000만 개의 뉴런과 1,280억 개의 시냅스를 지원합니다. 또한 보조 연산을 위한 2,300개 이상의 임베디드 x86 프로세서가 포함되어 있습니다.
할라 포인트는 처리, 메모리, 통신 채널을 대규모 병렬화된 패브릭에 통합하여 초당 16페타바이트(PB/s)의 메모리 대역폭, 3.5 PB/s의 코어 간 통신 대역폭, 초당 5테라바이트(TB/s)의 칩 간 통신 대역폭을 총 16개 제공합니다. 이 시스템은 초당 380조 개 이상의 8비트 시냅스와 240조 개 이상의 뉴런 연산을 처리할 수 있습니다.
생체 모방 스파이크 신경망 모델에 적용된 이 시스템은 최대 11억 5천만 개의 뉴런을 인간의 뇌보다 20배 빠르게 실행할 수 있으며, 낮은 용량에서는 최대 200배 빠른 속도로 실행할 수 있습니다. 할라 포인트는 신경과학 모델링을 위한 것은 아니지만, 그 뉴런 용량은 올빼미의 뇌 또는 카푸친 원숭이의 대뇌피질과 맞먹습니다.
저 크기에 저 정도면 인간 수준 스케일도 금방이겠네
로이히 3 나오면 가능할듯 - dc App
존나좋은 ai연산제품 만들었다 이거지?
근데 뉴로모픽 시스템이 인간 뉴런을 본따 만든거잖슴? 이게 지금 인간 연산량이나 정보처리량보다 더 빠름? 아니면 아직 그정도는 아닌가
아직은 많이 모자람 - dc App
아.... 많이 노력해야겄네...
뉴로모픽 벌써 상용화 되는건가