자꾸 2025년 agi,
2023년 agi 소리 하는 애들 있는데 희박하다고 봄.
당장 충격을 준 gpt - 3 에 대해 이야기 해 보자.
이거 활용하는 기업 있음?
이거 개인들이 활발히 활용함?
ㄴ
활용하기엔 성능이 어중뜨고, 돈내고 쓰기엔 비용이 아까움.
100달러 480달러 내고 쓰는 개인도 있겠지만 얼마나 될까?
또 그 만큼의 비용을 지불하면 gpt-3의 성능을 마음껏 누릴 수 있을까?
ㄴ
gpt-3 의 성능을 여러 사람이 누리려면 자원을 분산해야 됨.
당장 100사람만 동시에 사용해도 자원은 1/100이 됨.
이건 물리적으로 당연한 거임.
gpt-3의 매개변수를 풀로 활용하려면 gpt-3의 성능을 80-100%를 사용해야 함.
그래서 한달에 수백 달러의 비용을 지불하고 사용하는 사람들도
무료 유저에 비해 큰 자원을 할당받겠지만, 엄연히 gpt-3의 성능을 100% 누리진 못함.
알파고가 이세돌과 싸울 때, 하드웨어를 풀로 사용해서 싸웠음.
근데 알파고가 프로기사 100명하고 싸운다 생각해 보자고.
하드웨어 성능을 1/100으로 나눠야 함.
승률이 얼마나 될까?
바둑 ai들이 일반 대중들에게 공개될 땐 성능이 제한된 버전으로 공개되는 이유도 거기에 있음.
물론 제한된 버전으로도 프로기사 씹바르지만.
하이퍼 클로바가 발표되었지만 아직도 연구소 단위에서만 활용되고 있고
일반 대중에게 공개되지 않았음.
이유는 위와 같음. 700페타 플롭스의 하이퍼 클로바를
단순하게 천명만 사용한다하면 한 명에게 돌아가는 차원은 700테라임.
이 마저 엄청난 연산능력이지만, 하이퍼 클로바의 1/1000 성능 밖에 되지 않음.
왜 이런 일이 발생하냐면 비용의 문제기 때문임.
700페타짜리 슈퍼 컴퓨터를 구축하는데도 천문학적인 돈이 들어가지만.
운용하는데도 정말 많은 돈이 든다. 아마 수십억 단위일 거임.
기상청에서 쓸만한 슈퍼컴퓨터 한달에 수억 들어가는 운용비 감당못해서
무료로 분양한 적도 있음.
b2b로도 팔아 먹지 못하는 상황에서 저 정도 규모의 슈퍼컴퓨터를 구축한 건
오픈 ai나, 네이버 정도로 캐쉬 빵빵한 기관에서나 가능한거고.
구글이나, 마소, 아마존, 애플같이 더 빵빵한 기업이 와도
결국 한계가 뚜렷하다는 거임.
당장 수십조를 쏟아 부어서 매개변수 인간만한 초대규모 시스템 구축한다고 치자.
그럼 그 초대규모 시스템이 정말 인간과 같은 범용인공지능이 될까?
된다면 몇 사람 몫의 역활을 할까?
된다 안된다도 불투명한 상황에서 에라 모르겟다하고 만들었다 치자.
다시 말하지만 슈퍼컴퓨터는 구축 비용보다 유지 비용이 더 크다.
수십조짜리 시스템이면 한달에 운용비용이 수백억 단위인데
그런 비용을 상쇄할만한 이익을 기업에 가져다 줄 수 있을까?
ㄴ.
지금의 기술로도 제타 바이트 슈퍼 컴퓨터, 그 이상의 컴퓨터를 구축하는 거 가능함.
하지만 슈퍼컴퓨터란 건 산다고 땡이 아님.
운용비가 어마어마하게 들어감.
굴지의 기업들이나 국가기관들도 적절한 지점에서 성능을 타협하는 이유가 이거임.
2030년이면, gpt-3급 시스템을 구축하는데 30-40억이면 충분하다는 기사 봤을거임.
이 정도 왔을 때야 비로소 gpt-4 시스템을 구축할 수 있음.
다시 말하지만 구축 비용보다. 운용비용이 문제다.
그걸 감안하면 예상시기는 2028-2030년 정도임
끗
ㅇㅇ 맞음 - dc App
하지만 수요가 생기면 또 모를 일이니 예단 ㄴ - dc App
gpt3 그거 파라미터 100% 쓴거임.썻는데 성능이 그런거고
어떤 새!끼가 5월에 나온다그랬는데 ㅋㅋㅋ
해당 댓글은 삭제되었습니다.
ㅇㅇ 맞음 쓰니가 학습이랑 운용 헷갈린듯ㅇㅇ - dc App
ㅇㅇ 맞음 학습에는 엄청난 성능이 필요하지만 단순 돌리는데는 기존보다 크게 필요없음.내생각인데 하이퍼클로버를 개인에거 못쓰게 하는 이유는 학습하는 비용,등등을 고려했을데 손익이 안맞아서 그냥 독점하는거임.
좋은 시나리오다 - dc App
맞음 그 부분은 내가 누락했음. 하지만 님 말에도 빠진 부분이 있는데 짧은 텍스트 요약 출력은 학습한 데이터를 출력해주는 수준이어서 번역 처럼 연산성능이 많이 들어가는 작업은 아님, 하지만 연산능력이 많이 들어가는 부분에 있어선 b2p로 제공하려면 연산능력을 나눠야함. 이건 한계가 분명함. 그리고 gpt-3나 하이퍼 클로바 급의 슈퍼컴은 앞으로도 많이 개발될거고 운용될거임. 내가 말하는건 gpt-4임 그게 2025년 , 2023년에는 나오지 못한다는게 내 생각임
연산능력이 많이 필요 = 학습 ......? - dc App
이미 젠슨 황이 2023년 100조~1000조 파라미터 모델 학습가능한 모델 등장 예상한다고 함. "2025이면 충분하다" 선형충아!
알파고랑 하이퍼클로바를 비교하는 건 무리가 있음ㅇㅇ - dc App
알파고는 운용하면서 실시간으로 수를 탐색하잖아 - dc App
물론 가정용 컴에서도 원 성능의 70%는 나온다던데 - dc App
아무튼 쓰니의 일반화랑은 좀 다른 것 같음ㅇㅇ - dc App
응 gpt4는 내년에 나옴
훈련에 필요한 연산량과 운용에 필요한 연산량을 똑같이 생각하는 점에서부터 이 글은 개소리