만드는 과정에서만 연산량이 많은거고 만든 다음에 운용할때는 딱히 슈퍼컴퓨터가 필요할만큼 연산이 필요하진 않은거야??
아니면 머 게임같은 느낌으로 중앙서버같은게 따로 있어서 프로그램??같은거 받아서 ai 쓰는쪽에서는 연산할 필요 없지만 서버에서는 슈퍼컴퓨터급으로 연산해주고 있고 그런거야??
먼가 막 상업용으로 쓰이고 있는 ai들보면 엄청나게 연산 빡세게 하는거 같진 않아보이는데 인공지능이라고하면 먼가 연산 막 엄청할거 같은 느낌이고 그래서 모르겟음.. 아는사람 잇어?
ㅇㅇ
달리급 아니면 실행에는 많이 안 필요함
그 많이 안 필요하다의 기준이 그냥 개인용 컴퓨터로도 돌릴 수 있는 수준이라는거야?? 그럼 달리도 체험하라고 배포하는거 막 게임처럼 중앙서버 따로 있는게 아니고 그냥 자기 컴퓨터로 돌리는건가??
학습할때는 예측-피드백-예측-피드백 이걸 무수히 반복하는데 실사용에 들어가면 예측 한번 하면 끝이니 - dc App
별다른 근거도 없이 만들어지고 나면 연산 자원 안 잡아먹는다고 하면 걸러들으셈. 실시간 데이터 수집/분석하는 AI는 운용 시에도 CPU/GPU 많이 잡아먹어. 그리고 많은 AI가 실시간으로 데이터 수집하면서 가져다 씀. 신규 데이터 없이 이미 학습된 모델로만 운용하는 일부 AI에만 해당되는 말인데, 이마저도 파라미터 개수 큰 모델은 학습 끝나고나서도 상당한 컴퓨팅 자원을 요구함
예를 들어 실시간 데이터 수집/분석 계속하는 기상청 예보 모델 보면 운용에 엄청난 연산이 필요해서 슈퍼컴퓨터 돌리잖아? 그리고 모델 학습 마치고 운용했던 알파고도 이세돌이랑 대국하면서 쓴 전력량이 1국당 1메가와트였음. 100가구가 사용하는 하루치 전력량. 그 전기가 다 연산하는데 들어감. 가정용 개인PC로는 어림없는 연산량이지
"상대적으로 많은 기업, 기관들은 개발자들에게 신경망을 훈련시키는 시간과 비용을 줄이기 위해 미리 훈련된 버전의 모델을 제공한다. 그런 다음 모델을 로드하고 실행할 수 있는 서버나 장치만 있으면 되는데, 이는 처음부터 모델을 교육하는 것보다 컴퓨팅 집약도가 훨씬 낮다. 그러나 GPT-3의 경우, 신경망의 순전히 크기 때문에 그것을 실행하는 것이 매우 어렵다. 지난 6월 발표된 OpenAI의 위 논문에 따르면 GPT-3는 파라미터당 16비트의 반정밀 부동소수점 변수(half-precision floating-point variables)를 사용한다. 즉, 모델을 적재하고 적절한 속도로 추론을 실행하는 데만 최소 350GB의 VRAM이 필요한 것이다."
그래서 반도체쪽은 지금 메인 트렌드가 '저전력 반도체' 개발임. 왜 트렌드냐? AI쪽 시장 조사해보니까 대부분의 기업이 학습이 끝난 AI 프로덕트를 사서 쓰는데도 불구하고, AI 운용하는데에만 전기(=컴퓨팅 파워)가 엄청나게 들어가니까 수지타산이 안 맞아서 아직 도입 못하겠대. 그래서 저전력 반도체 시장의 잠재력을 엄청 높게 보고 뉴로모픽 이상으로 투자하고 있음