https://huggingface.co/tiiuae/falcon-180B
tiiuae/falcon-180B · Hugging Facetiiuae/falcon-180B · Hugging Facehuggingface.co이걸 로컬로 불러야 할지 모르겠지만 팰콘180b 모델이 3.5보다 파라메타는 큼
3.5조 토큰으로 학습시킴 (라마2 70b가 2조 토큰)
문제는 저거 돌리려면 a100 80g짜리 8개 필요함
https://huggingface.co/tiiuae/falcon-180B
tiiuae/falcon-180B · Hugging Facetiiuae/falcon-180B · Hugging Facehuggingface.co이걸 로컬로 불러야 할지 모르겠지만 팰콘180b 모델이 3.5보다 파라메타는 큼
3.5조 토큰으로 학습시킴 (라마2 70b가 2조 토큰)
문제는 저거 돌리려면 a100 80g짜리 8개 필요함
댓글 0