[📪정보] 1800억개 파라미터의 오픈소스 Falcon 180B 모델 발표

[익명(asdf045)]

https://twitter.com/_philschmid/status/1699401982358757382

성능은 GPT-3.5를 능가하고 Google의 PaLM-2 Large와 동등하고

Meta의 LLaMA 2 컴퓨팅 리소스의 4배인 3.5조 토큰으로 훈련되었다고 함

- dc official App

[부패하는유전자!!!(sansss2015)]

[익명(rechido)]

[익명(210.178)]

트레이닝에 최대 A100 16개 필요함. A100이 대략 1300만원 하니깐 대충 2억원 넘게 필요하겠네

[익명(210.178)]

헉~ 지금은 A100이 대략 2500만원. 고로 풀 트레이닝에는 A100 16개 갖출 4억원 필요 ㄷㄷㄷ

[익명(landofooo)]

와 ㅈㄴ비싸네...