chatGPT는 모델이 하나만 Load 되어 있는건가요?
chatGPT 같은 LLM은 동시에 수천~만개의 request를 처리하는데 하나의 모델로 어떻게 감당되는지 뒷단이 잘 이해가 안가서요,,
여러개의 모델이 로드되어있을 줄 알았는데 하나인 것 같기도 하고요.
혹시 링크나 어떤 키워드로 검색해야 하는지 알려주셔도 좋습니다!
'chatGPT serving'이나 'chatGPT architecture'로 검색하면 모델 구조 이야기밖에 없네요..!
모델(checkpoint)은 그냥 학습이완료된 행렬곱 덩어리임. 그냥 이미저장되있는상태고 여러개의 쓰레드에서 그냥 인풋을 통과시킬 뿐임(inference) - dc App
오홍 감사합니다
한번에 하나씩 처리하면 비효율적이니까 일정 데이터 모아서 처리하지않을까요?
찾아보니 배치단위로 하기도 한대요
단순 모델만 놓고보면 그리 안큼. 추론도 별로ㅈ오래안걸림 - dc App
걍 윗댓 말처럼 정해진 대로 행렬곱 쭉쭉 통과시키면 되는거라.. - dc App
아하 감사합니다!
걍 GPU별로 Inference 서버 존나게 띄워놓고 메인서버가 리퀘스트 푸쉬나 풀 하는 형식으로 중계하지 않을까? GPT 한개만 있는게 아니라 여러개 모델이 엮여가지고 서비스 되고 있다는데. 서버비 오지게 들듯 일단 Streaming 방식에, 모델크기도 오지게 커서 Batch Inference는 힘들거고... 그냥 서버 존나 때려넣는듯.