[📪정보] 인텔 Arm 엔비디아 AI 처리 효율 높이는 새 표준 제안

[Informa..(175.214)]

출처 : http://scimonitors.com/

더 빠르고 효율적인 AI 시스템 개발을 추구하기 위해 Intel, Arm 및 Nvidia는 오늘 AI의 공통 교환 형식이라고 하는 사양 초안을 발표했다. 제안된 “8비트 부동 소수점(FP8)” 표준은 하드웨어 메모리 사용을 최적화하고 AI 교육(AI 시스템 엔지니어링)과 추론(시스템 실행) 모두 작업을 최적화하여 AI 개발을 가속화할 가능성이 있다.

AI 시스템을 개발할 때 데이터 과학자는 시스템 교육을 위해 단순히 데이터를 수집하는 것 이상의 주요 엔지니어링 선택에 직면한다. 하나는 시스템의 가중치를 나타내는 형식을 선택하는 것이다. 가중치는 시스템의 예측에 영향을 미치는 교육 데이터에서 학습된 요소다. 가중치는 예를 들어 GPT-3과 같은 시스템이 문장 길이의 프롬프트에서 전체 단락을 생성하거나 DALL-E 2가 캡션에서 사실적인 초상화를 생성할 수 있도록 하는 것이다.

일반적인 형식에는 16비트를 사용하여 시스템의 가중치를 나타내는 반정밀도 부동 소수점(FP16)과 32비트를 사용하는 단정밀도(FP32)가 있다. 반정밀도 이하에서는 AI 시스템을 훈련하고 실행하는 데 필요한 메모리 양을 줄이면서 계산 속도를 높이고 대역폭과 전력 사용량을 줄인다. 그러나 그들은 그러한 이득을 얻기 위해 어느 정도 정확도를 희생한다. 결국 16비트는 32비트보다 작업하기에 적다.

그러나 Intel, Arm 및 Nvidia를 비롯한 업계의 많은 기업이 FP8(8비트)을 스위트 스폿으로 통합하고 있다. 블로그 게시물에서 Nvidia의 제품 마케팅 이사인 Shar Narasimhan은 FP8인 앞서 제안된 형식이 컴퓨터 비전 및 이미지 생성 시스템을 포함한 사용 사례에서 16비트 정밀도에 “비교적 정확도”를 보여주면서 “상당한” 속도 향상을 제공한다고 언급했다.

Nvidia, Arm 및 Intel은 FP8 형식을 라이선스가 필요 없는 개방형 형식으로 만들고 있다. Narasimhan은 사양이 나중에 고려하기 위해 여러 기술 영역에서 표준을 유지 관리하는 전문 조직인 IEEE에 제출될 것이라고 밝혔다.

Narasimhan은 “공통 교환 형식을 사용하면 하드웨어 및 소프트웨어 플랫폼 모두의 빠른 발전과 상호 운용성이 컴퓨팅을 발전시킬 수 있을 것이라고 믿는다”고 말했다.

한편, Nvidia GH100 Hopper 아키텍처는 Intel의 Gaudi2 AI 교육 칩셋과 마찬가지로 기본적으로 FP8을 구현한다.