여긴 소형 엣지 LLM 관심있는 사람 많진 않겠지만, 개발자 입장에선 흥미로워서 씀




구글 : 작년 제미니 나노 온디바이스 한다더니 온디바이스라고 광고한 메세지앱 기능은 서버로 돌아감,

진짜 온디바이스 제미니는 5월쯤에 개발자 대상으로 옵션 활성화만 가능하게 해줬는데 이것도 해봤다는 놈이 없어서 진짜 되는건진 모르겠다

마소 : Phi-Silica가 윈도11 온디바이스 프레임워크로 돌아감,

NPU 쓴다고 광고했는데 알고보니 프롬프트 프로세싱해서 캐시 생성할때만 NPU 쓰고 정작 토큰생성은 CPU로 함. 3.8B 짜린데 퀄컴 X 엘리트에서 속도도 27Tok/s 정도로 느림


퀄컴 : 자체 AI 허브 만들었는데 거기 LLM들 죄다 GPU로 구동


인텔 : 마케팅 담당자가 LLM 메테오 레이크에서 구동하는거 시연했는데 GPU로 돌림





요약하면 엣지단에서 LLM 가속에 NPU를 쓰는게 상당히 까다로워 보임


NPU는 기능이 고정된 하드웨어 가속기라 가속할 수 있는 데이터 타입, 레이어 종류를 가리는데

이게 원인 아닌가 싶음. 

뭐 이미지 처리에 NPU 쓰는건 많이 봤는데 LLM은 특히 어려운것 같음 



현재는 대부분 CPU나 GPU 쓰고 전력소모도 높음, 사용자가 사용중인 앱 성능에도 영향 주고 배터리도 더 빨아먹음


당연히 애플이 만들었다는 AFM도 GPU나 CPU위에서 구동될 것이라 예상했음


24b0d121e09c28a8699fe8b115ef046c60f9284994e8


그런데 asitop으로 프로파일링 해보니 NPU(ANE)로 가속하고 있다는게 드러남


메일 요약 기능은 1-2W밖에 안 쓰고 rewriting(재작성) 기능도 5.9W 남짓밖에 안 씀 (이것도 M3 Max에서 측정한거라 폰에선 더 낮을 듯)

생성 속도도 상당한데, 아이폰 15프로에서 40~50tok/s가 나옴 이 정도면 매우 쓸만한 속도임.



애플 자체 LLM에서 눈여겨 볼 점은 3B짜리 소형모델이긴 하지만

실제로 엣지 단에서 NPU를 십분 활용해 실제로 상용화 가능한 수준으로 속도와 전력소모를 잡았다는 점

이걸로 사용자 개인정보에 접근하는 디지털 어시스턴트 구현이 가능해진다는것