(짤은 내장 그래픽이랑 쥐꼬리만한 npu로 실시간 음성인식 + 번역 돌리는 거)
ㄹㅇ 1년 전만 해도 1b 4b짜리 초소형 모델들은 10줄 넘어가면 무한 반복 걸려서 출력 망가지고 그랬는데,
이제 1.8b 짜리 모델도 번역 같은 건 곧잘 하고, 27b 짜리 모델은 1년 전 유료 모델 급 성능이 나오는데다
llama.cpp조차 안 깔고 걍 폰이나 브라우저에서도 자기 하드웨어에서 ai 성능이 얼마나 나올지 딸깍할 수 있는...
- 이상한 누나
그림 ai 해보려고 아카 가봤는데 뭔 목차가 200페이지이길래 탈주한ㄷ
comfyui 같은 거 워크플로우 복잡하게 만들 거 아니면 걍 기본 워크플로우에 프롬프트만 적고 돌려도 되긴 함.
로컬이 sota랑 비비는 날이 올까요