지금 OpenAI가 ChatGPT Plus를 유료화한 건 애초에 수익 창출이 목적이 아니라 congestion control이 목적일 거임.



API Pricing을 보면 GPT-4가 GPT-3.5 대비 1k 토큰 당 60배나 비싼 걸 확인할 수 있음($0.002 vs. $0.12) 그 성능차를 내려고 컴퓨팅 파워를 60배로 쓰는 듯...

대화형으로 진행하다 보면 토큰을 겁나 많이 잡아먹는데, 한번 핑퐁에 수백 토큰 이상이 소비됨을 감안하면 20달러 어치는 금방 넘는 거임

이렇듯 데이터셋이랑 컴퓨팅 파워가 무식하게 많이 필요한데, 하드웨어 발전은 이를 못 따라오고 있음. 지금의 방식으로는 언젠가 병목에 걸리고 자율운전처럼 hype이 꺼진 상태가 될 것임.



0bafd200d1e72291799effba3ed00a73be7afbc57021070edb7952dd3015

그래서 Alpaca 같은 경량 모델이 Generative AI의 미래라고 생각함.

무지성으로 컴퓨팅 파워 집어먹는 걸 파인 튜닝해서 cost를 좀 줄여야 고품질의 AI 질의 시스템이 전세계 산업에 보급될 수 있을 것임