LLM 바닥부터 만들어봐도 작은거 정도밖에 못만들지 않나

[ㅆㅇㅆ(124.216)]

그거 아니면 기본적으로 파인튜닝 정도밖에 안됨

지금 허깅페이스에 개인이 올렸다고 깝치는건 대부분 파인 튜닝정도

나노 GPT같은걸로 작은 문장 정도야 만들 수있지만

[프갤러 1(223.38)]

130m짜기 만들수는있음 나도 a100 80기가 코랩해서 300m 만듬

[ㅆㅇㅆ(124.216)]

a100이면 천만원 돈인데 부자네

[프갤러 1(223.38)]

그리고 애초에 문장 짧은단위가아님

[프갤러 1(223.38)]

코랩 1.5만원에 빌린다잉 14시간

[프갤러 1(223.38)]

인코더 디코더 행렬 shape 고려하면서 짜면 대충 뭔느낌인지 암 어디서 vram 존나 먹히고 얼마나 불합리한 연산인지 멀티헤드 (셀프어텐션) 연산 식만봐도 어? 이러면 안될거 같은데 바로느낌 근데 이게 웃긴게 물량으로 때려부으면 되긴함 ㅋㅋ