[📪정보] FPGA로 AI와 ML을 구현하는 방법

[익명(112.184)]

FPGA(Field Programmable Gate Array)는 인공지능(AI)과 머신러닝(ML) 애플리케이션의 활용을 촉진하는 것으로 익히 알려져 있다. 그런데, AI와 ML은 FPGA에서 어떻게 구현되며, 이와 다른 접근 방식으로는 무엇이 있을까. 이 글에서는 이에 대해 엔지니어링 설계 관점에서 알아보고자 한다.


AI는 클라우드와 엣지 애플리케이션 양쪽 모두에서 화제다. AI는 다양한 사례들에서 보다 안전하고 효율적이며 안전한 시스템을 가능하게 한다. 인공지능이라는 용어는 1956년 인공지능에 대한 첫 회의가 열렸을 때 존 매카시(John McCarthy)에 의해 처음으로 사용됐다. 인공지능에 대한 연구는 수십 년 전부터 진행됐지만, AI 시스템이 실험실이나 연구실을 벗어나 상품화되고 제품에 적용된 것은 불과 5~10년 전부터다.


AI가 클라우드 및 엣지 환경 내에서 가장 많이 활용된 형태는 머신러닝이다. 머신러닝은 컴퓨터 프로그램이 경험을 통해 자동으로 향상되도록 하는 컴퓨터 알고리즘에 대한 연구다. 그러한 예로, 레이블이 지정된 이미지 데이터 세트를 ML 네트워크에 제공하는 것을 들 수 있다. ML 알고리즘은 이미지의 특징과 요소를 식별하기 때문에, ML 알고리즘은 레이블이 지정되지 않은 전에 보지 못했던 새로운 이미지가 입력되면 해당 이미지가 학습된 특징과 요소와 일치하는지 결정하는 역할을 한다. 이처럼 ML 알고리즘은 이미지에서 물체를 감지하고, 음성으로 키워드를 처리하고, 센서 데이터에서 이상을 분석하도록 훈련될 수 있다. 일반적인 ML 애플리케이션에는 비전 가이드 로봇, 자율 주행 차량, 산업 및 안전이 중요한 시스템에 대한 예측이 포함된다.

ML의 학습 알고리즘은 두 가지 요소로 나뉜다. 하나는 훈련 데이터 세트에 대한 네트워크 훈련이다. 다른 하나는 훈련된 네트워크 분야의 응용이다. 이 요소들을 각각 ‘훈련’과 ‘추론’이라고 부른다. 정확한 모델을 훈련하려면 레이블이 지정된 대량의 데이터 세트가 필요하며, 종종 클라우드 기반 GPU에서 수행되어 훈련 프로세스를 가속화한다. 설계 엔지니어는 MCU에서 GPU 및 FPGA에 이르기까지 다양한 기술에 걸쳐 훈련된 네트워크를 사용할 수 있다.

FPGA에 AI 구현하기

카페(Caffe), 텐서플로우(TensorFlow), 파이토치(Pytorch)와 같은 매우 인기 있는 몇 가지 프레임워크는 AI/ML 시스템의 훈련과 응용을 지원한다. 이러한 프레임워크는 네트워크 정의, 훈련, 추론에 모두 사용된다.


엣지 기반 AI 시스템이 갖추고 있는 많은 핵심 요소 중에는 주어진 시간 안에 추론을 수행하는 능력이 있다. 예컨대, 자율 주행차는 충돌을 방지하기 위해 주변 차량과 장애물, 보행자를 빠르게 감지해야 한다. 이를 위해서는 지연 시간을 최소화해 센서 데이터를 신속하게 처리해야 하므로 응답성과 결정성을 모두 갖춘 솔루션이 필요하다. 하지만 공유 DDR 메모리를 사용하면 응답 시간이 느려지는 것과 같은 현상을 비롯해 시스템 작동 조건이나 리소스 사용에 의존하지 않아야 하기 때문에 각 입력에 대한 응답 시간이 동일해야 한다.


엣지 기반 솔루션 개발자들은 응답성과 결정성의 요구 사항으로 인해 종종 FPGA 또는 이기종 SoC 기반 솔루션을 사용한다. 이는 개발자에게 프로그램이 가능한 로직을 제공하며, 응답 애플리케이션과 매우 결정적인 솔루션을 모두 가능케 하는 병렬 처리 특성을 본질적으로 지원하므로 머신 러닝 네트워크를 구현하는 데 있어 이상적이다.



프로그래머블 로직으로 ML 추론을 구현할 경우, 두 가지 접근 방식을 취할 수 있다. 신경망의 개발과 훈련에 있어서는 부동 소수점 연산이 활용되지만, FPGA나 이기종 SoC의 구현에 있어서는 어떤 접근 방식을 취하든 일반적으로 고정 소수점 구현 방식이 사용된다. 부동 소수점에서 고정 소수점으로 변환하는 과정을 양자화라고 하며, 추론 정확도가 약간 떨어질 수 있다. 하지만 대부분의 애플리케이션에서는 양자화된 가중치와 활성화를 통해 추가적인 훈련을 수행함으로써 정확도를 높일 수 있다.



첫번째 접근 방식은 프로그래머블 로직 내에 직접 신경망을 구현하는 것이다. 훈련된 가중치는 추론을 위해 네트워크에 로드된다. 이는 해당 설계의 런타임 도중이나 컴파일·합성 중에 달성될 수 있다. 이같은 신경망의 예로는 AMD-자일링스 FINN(AMD-Xilinx FINN) 네트워크가 있으며, FPGA에서 양자화된 신경망을 구현하는 데 사용될 수 있다. 이같이 양자화된 신경망은 이진 가중치(binary weight)와 2비트 활성화를 갖는 양자화된 신경망으로 구현된다.

양자화된 신경망을 사용하면 외부 DDR 또는 SoC 지원이 필요 없기 때문에 훨씬 적은 리소스를 가지고 FPGA에 신경망을 구현할 수 있다. 따라서 공간, 구성 요소, 비용에 제약이 있는 개발에 이상적인 접근 방식이 될 수 있다. 비록 전체 솔루션 내에 통합할 수 있으려면 조금 더 전문적인 지식이 필요하긴 하지만, 이 접근 방식은 매우 효과적일 수 있다. 이 방식을 사용할 수 있는 대표적인 사례로는 베어링 마모 또는 진동 등과 같은 산업용 기계의 예후를 들 수 있다.





FPGA 로직 내에 신경망을 직접 구현하는 또 다른 방법은 고도로 전문화된 신경망 가속기를 사용하는 것이다. 신경망 가속기는 프로그래머블 로직으로 구현되며 이기종 SoC 내의 전용 프로세서와 함께 고대역폭 링크를 통해 DDR 메모리와 밀접하게 연결된다.


신경망 가속기를 사용하는 애플리케이션에서는 소프트웨어 애플리케이션에 의해 네트워크와 가중치, 활성화, 편향이 제공된다. 이처럼 이 방식은 ML 추론을 전체 애플리케이션 내에 통합하기 쉽게 만들어준다. 신경망 가속기의 예로 AMD-자일링스 딥 러닝 유닛(AMD-Xilinx Deep Learnig Unit)을 들 수 있다. 이는 파이토치, 카페, 텐서플로우에 정의된 네트워크와 함께 작동하며, 애플리케이션에 맞는 양자화, 재훈련이나 프로그램 생성을 수행할 수 있다. 이렇게 하면 개발 중인 애플리케이션에 더 쉽게 통합할 수 있다. 이 접근방식의 통상적 애플리케이션으로는 비전 가이드 로보틱스 같은 고성능 비전 기반 애플리케이션, 스마트 시티 솔루션을 들 수 있으며, 자동차 SAE 자율성 수준도 높일 수 있다.



최고의 정확도와 성능은 전문화된 신경망 가속기를 사용할 때 제공되며, 통합이 용이해지면 전반적으로 더 나은 솔루션을 제공하기 마련이다. 그렇기에 오늘날에는 다양한 공급업체들이 AI 솔루션 구현에 있어 이런 접근 방식을 취한다.


전문 신경망 가속기를 사용하면 최고의 정확도와 성능을 얻을 수 있으며, 통합이 용이해지면 전반적으로 더 나은 솔루션을 제공하기 마련이다. 따라서 오늘날에는 다양한 공급회사들이 AI 솔루션 구현에 있어 이 접근 방식을 취한다. 이 접근 방식은 AI가 종종 전체 솔루션의 작은(그러나 중요한) 부분에 불과하기 때문에 전체 성능을 활용하는 데 있어서 핵심인 상위 레벨 소프트웨어 프레임워크 및 추상화 스택과 훨씬 쉽게 통합된다.


맺음말


AI는 많은 경우에 있어서 주력 마케팅 수단으로 작용할 수 있지만, 최종 애플리케이션에 따라 선택해야 하는 솔루션은 다르다. 실제 환경에서는 솔루션을 구성하는 센서 인터페이스, 사전 처리, 액추에이터 구동 및 기타 요소의 경우 자체적인 제약이나 요건들을 수반하기 때문에, AI가 솔루션 전체에 있어 차지하는 비중은 극히 일부에 불과한 경우가 많다.


개발자들은 프로그래머블 로직을 이용해 응답성과 결정성을 모두 갖춘 AI/ML 솔루션을 구축할 수 있다. 개발자들이 이러한 솔루션을 업계 표준 프레임워크와 결합한다면, 클라우드와 엣지 AI/ML 애플리케이션을 더 효율적이고, 안전하게 만들 수 있을 것이다.



아담 테일러(Adam Taylor)는 임베디드 시스템 교수이자 엔지니어링 리더다. FPGA/SoC 및 전자 설계 분야에서 세계적으로 인정받는 전문가다.





https://www.thelec.kr/news/articleView.html?idxno=18989

[익명(210.178)]

TPU같은 AI 전용 프로세서의 발달 때문에 FPGA의 장점이 점점 희석되고 있음. 또한 GPU의 전성비가 FPGA 보다 우수한 경우도 있음

[익명(d9nxlb7xxy5n)]

ㅇㄱㄹㅇ

[익명(d9nxlb7xxy5n)]

하지만 아날로그 하이브리드 jittable FPGA가 출동한다면 어떻게 될까?

[익명(110.11)]

아니 얘들아 애초에 FPGA의 용도는 AI계산이 아니라 회로 테스팅 및 설계임... FPGA는 원래부터 특정 용도로 사용하기에는 비싸고 효율이 떨어지는데 코드만 가지고 반도체 설계가 가능한게 장점인거고 무슨 TPU어쩌고 하는데 그거 맨 처음 만드는 애들은 FPGA로 설계해보고 괜찮은데? 싶으니까 반도체로 제작하는거지...