[📪정보] Groq 이거 미쳤노 하드웨어 혁신이다

[익명(123.100)]

https://groq.com/

Groq

(테슬라 grok이랑 상관없음)

위 링크에서 써볼 수 있는데 진짜 저 속도 나옴 (mixtral 8x7b 32k)

새로운 칩설계 덕분에 가능하다는데 진짜 혁신적인데? 미쳤노

추론쪽에서도 혁신 하나 터졌네

이는 Groq 팀이 초당 약 500개의 토큰을 생성할 수 있는 LLM(대형 언어 모델)용 맞춤형 ASIC(Application-Specific Integrated Circuit) 칩을 개발했기 때문입니다. 

이에 비해 공개적으로 사용 가능한 모델 버전인 ChatGPT-3.5는 초당 약 40개의 토큰을 생성할 수 있습니다. 

이 모델의 개발자인 Groq Inc는 일반적으로 AI 모델을 실행하는 데 사용되는 희소하고 값비싼 그래픽 처리 장치(GPU) 대신 모델을 실행하는 데 사용되는 최초의 언어 처리 장치(LPU)를 만들었다고 주장합니다.

Groq는 2016년 수석 Jonathan Ross가 설립했습니다. 

그는 처음에 Google의 TPU(Tensor Processor Unit) 프로젝트를 20% 프로젝트로 시작했고 나중에 Groq를 설립하기 전에 Google X의 Rapid Eval Team에 합류했습니다.

[익명(59.18)]

이거 추론도 가능함?

[익명(123.100)]

추론(inference) 말한건데 ML에서 예측하는걸 보통 추론이라캄. 그냥 생성 속도 빨라졌다고 생각하믄댐. 학습은 안하고 있다는거보면 저걸로 학습이 되는지는 아직 모르겠네

[익명(110.145)]

학습은 아직 쿠다 못벗어남

[익명(182.211)]

눈속임인지는 검증해봐야

[Zoltraak(thor2018)]

근데 저거 학습에도 이용할 수 있지 않나? 학습도 존나 빨라질수도?

[익명(14.6)]

지금 도전중인 애들 학습은 거진다 포기함 ㅋㅋ 추론만 대체해도 ㅆㅅㅊㅊ긴함

[Zoltraak(thor2018)]

공식 답변이 있음. Groq Inc @GroqInc · 12h Not at this time. We're focused on speed ultra-low latency with our first generation LPU™ Inference Engine. But who knows, we do have more chip designs coming. ?+

[Zoltraak(thor2018)]

트위터에 누가 질문 이렇게 한거에 대한 답변임. Is there any plan for supporting training as well?

[익명(110.145)]

애플실리콘도 추론은 얼추 하지만 학습은 좆망

[익명(landofooo)]

학습은 걍 GPU일걸 저런경우 보통은 추론용 칩이 대부분

[ㅇㅋ(ijh2005)]

검증해봐야 하긴하겠지만 속도 장난아니긴하네

[부패하는유전자!!!(sansss2015)]

오...

[익명(112.168)]

뭔진 모르겠는데 여튼 좋은거 나왔다는거겠지

[익명(14.6)]

정확한정보가없네 다이면적,메모리구성 등...

[익명(14.6)]

그리고 꼬라지보니까 구글tpu처럼 클라우드형식으로 임대만 할생각인가보네 ㅅㅂ

[Zoltraak(thor2018)]

엔비디아 좆된듯? 기존 gpu 칩보다 엄청나게 빠른 딥러닝 전용 칩이 나와버리다니..

[익명(14.6)]

좆안됨 ㅋㅋ

[익명(118.33)]

엔비디아도 이미 기존 gpu랑 cpu 융합칩 개발했음

[Zoltraak(thor2018)]

아니 근데 특갤 왤케 느림? 이거 최소 12시간 전에 나온 뉴스인데 왜 이제??

[익명(119.195)]

터보는 이게 터보네 ㅋㅋㅋ oai나 구글에서 좀 배워갔으면 좋겠다

[익명(220.74)]

LPU 아이디어 좋네... 어차피 요즘 다 Sequence Modeling으로 넘어가는 추세라서...

[ㅇㅋ(ijh2005)]

요즘 흐름이 시퀀스로 다시 넘어가는 이유가 뭐야?

[익명(220.74)]

sequence modeling이 기본적으로 쉽고 CLM + MLM을 비롯하여 여러가지 연구가 많이 되어 있어서 이미 표준적인 기법들이 많음...

[ㅇㅋ(ijh2005)]

어.. 내가 용어가 오락가락해서 그런데 시퀀스모델링에 어텐션이 포함된 개념인가? 그냥 시퀀스데이터 다루는거면 전부 포함?

[익명(220.74)]

둘 다임... 데이터 영역에서는 시퀀스로 표현해서 처리하는 것과 어텐션 메커니즘의 구조적 개량이 둘다 진행되고 있음...

[ㅇㅋ(ijh2005)]

ㅇㅎ 난 또 어텐션이라는 패러다임에서 벗어나서 다시 RNN계열로 돌아갔다는 얘기인줄 답변 ㄳ

[익명(220.74)]

ㅇㅇ mamba/zeta AI가 그거 해볼려고 하는 거 같은데.... 결과 나오기 전에는 속단못해...

[조바이든(hnn12)]

[익명(39.115)]

그래서 얼마로 나올까

[익명(rechido)]

[익명(118.33)]

걍 유명하지않아서 이용자가 적으니 나올수있는 속도 아냐?

[익명(211.171)]

한국어도 되네

[익명(211.206)]

빠르긴 한데 오류심함

[oo(141.223)]

문제는 칩 하나 당 SRAM 용량이 200MB 밖에 되지 않아 큰 모델을 돌릴려면 수백개의 칩을 연결시켜야 합니다. GPU 몇개를 연결하여 batching으로 여러명의 유저를 동시에 서비스할 수 있는데 그렇게 실용적인 방법인지는 모르겠습니다.

[익명(125.177)]

써보니 빠르기만함

[익명(landofooo)]

지금들가봤는데 대기자 ㅈㄴ 많네 사람몰린듯 ㅋㅋㅋㅋㅋㅋㅋ