[일반] 근데 GPT4가 핸드폰내에서 돌아갈수는 없는거야?

[대가리꽃밭(seunghoonator)]

칩 성능이 안되는거야? 아니면 저장 용량이 안되는거야?

자체GPT돌아가는 핸드폰을 메타가 만들면 아이폰에서

갈아탈 생각도 있다

- dc official App

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[대가리꽃밭(seunghoonator)]

진짜? 오프라인으로 돌아가? - dc App

[익명(ek4li3ixxkv2)]

오프라인으로 되겠냐?

[대가리꽃밭(seunghoonator)]

핸드폰은 어림도 없는듯하다 - dc App

[익명(125.177)]

지금은 불가능함.. 한 20년 뒤에는 성능이 되서 그런 폰이 나올지도 모름..

[대가리꽃밭(seunghoonator)]

어느 정도나 되야하는거야? 막 게임 풀옵 돌리는 피씨 정도인거야? 아니면 말그대로 수퍼컴퓨터가 필요한거야? - dc App

[ㅇㅅㅇ(h7sa7h2msbxf)]

수퍼컴퓨터까진 아닐걸 수퍼컴퓨터가 필요한 이유는 한사람이 아니라 한번에 수천 수백개의 명령을 처리해야하기때문이고. 생각보다 성능이 평범한 컴퓨터에서 돌아갈수 있을 수 도 있음.

[ㅇㅅㅇ(h7sa7h2msbxf)]

학습은 슈퍼컴퓨터가 필요한게 획실한데 학습이 완료된 모델은 그렇게 엄청난 연산이 필요한건 아님

[익명(125.177)]

대기업이 오픈소스로 푼 언어모델을 경량화 시켜도 100만원 넘는 그래픽카드와 32기가 램이 필요함.. gpt4를 괜히 돈주고 이용하는게 아닌듯... 스마트폰에서는 30년 뒤에나 쓸수있을듯..

[대가리꽃밭(seunghoonator)]

30년전 PC면 프리미엄 모델: CPU: Intel 486DX2-50 또는 DX2-66, L2 캐시 256K RAM: 8MB 하드 디스크: 170MB-1.2GB 부가적인 사양: 1.44MB 플로피 드라이브, 2개의 시리얼 포트, 1개의 병렬 포트, SVGA 그래픽 (1024x768), 102키 키보드, Microsoft 호환 마우스, MS-DOS 5.0, Windows 3.1 그래픽 카드: Tseng Labs' ET4000 또는 S3 VESA Local Bus 카드로, 비디오 RAM은 1MB였습니다 프리미엄 PC는 EISA 슬롯을 갖추고 있었으며, 일부 컴퓨터(약 10% 미만)는 새로운 VESA Local Bus 확장 슬롯을 하나 또는 두 개 가지고 있었습니다. 이 슬롯은 최대 50MHz까 - dc App

[대가리꽃밭(seunghoonator)]

말그대로 인테기에서도 돌아간다는 둠도 안돌아가는 PC인데?! - dc App

[익명(125.177)]

그시절에 비하면 발전 많이했는데 요즘은 공정 미세화도 이제 한계가 오고 적층으로 성능 올리는것도 프로세서는 발열때문에 꿈도 못꿀듯...

[대가리꽃밭(seunghoonator)]

ChatGPT를 실행하는 데 필요한 컴퓨터의 성능은 사용하려는 용도와 설정에 따라 다릅니다. 모델 훈련 (Training): GPT-3와 같은 대형 언어 모델을 처음부터 훈련하는 것은 많은 컴퓨팅 리소스를 필요로 합니다. 이 작업은 일반적으로 GPU 클러스터를 사용하며, 이는 많은 양의 전력과 저장 공간, 그리고 복잡한 소프트웨어 인프라를 요구합니다. 이는 개인이 소유하는 게임용 고성능 PC보다 훨씬 고성능인 시스템이 필요합니다. 모델 추론 (Inference): 이미 훈련된 모델을 사용하여 텍스트를 생성하거나 질문에 답하는 것은 상대적으로 적은 컴퓨팅 리소스를 필요로 합니다. 이 작업은 대부분의 최신 PC나 서버에서 수행할 수 있습니다. 그러나 모델의 크기에 따라서는 더 고성능의 하드웨어 - dc App

[대가리꽃밭(seunghoonator)]

가 필요할 수 있습니다. 예를 들어, OpenAI의 GPT-3와 같은 대형 모델은 GPU가 필요할 수 있습니다. 따라서, 개인적인 사용을 위해 이미 훈련된 모델을 실행하려는 경우, 게임용 고성능 PC가 충분할 수 있습니다. 하지만 모델을 처음부터 훈련하려는 경우에는 더욱 강력한 컴퓨팅 리소스가 필요할 것입니다. - dc App

[익명(landofooo)]

걍 뇌피셜이지만 전력 끌어다쓰는것도 그렇고 발열도 그렇고 모바일은 무릴듯 막말로 한번 프롬프트 날렸는데 폰 꺼져버리면 ㅋㅋ

[익명(landofooo)]

글고 모델가중치 저장한다해도 램에 올려둘 공간이없을듯 현재 사양으론

[콜라조무사(tkatjdrhdghkrnr123)]

지금은 cpp덕에 cpu랑 램만으로 구동은 될텐데 램이 턱없이 부족할거고 구동된다해도 ㅈㄴ 느릴거