개인이 LLM 만드는거 어떻게 생각해 나 해보고 싶은데

[ㅆㅇㅆ(124.216)]

결국 아키텍트 구현이잖아?

근데 Andrej Karpathy 나노 지피티 보면

전부 하는데

nn.module 받아서 작업하는게 트랜스포머니까

LLM 셀프 어텐션을 내가 해볼 수 있지 않을까

크게는 말고 작은 서비스에서 하는거

해볼만한거 같은데

[파란빤스(nice9586)]

그런거 하시는 좀 천재과 대학생 분이 있었는데 구조 잘짜고 위키피디아 데이터셋으로 미친듯이 에포크 돌리면 해결된다고 하시더라구요... 고수들은 사고방식이 저같은 허접들이랑 달라요ㅠㅠㅠ

[ㅆㅇㅆ(124.216)]

나는 모르겠는데 그냥 궁금해서

[발명도둑잡기(118.216)]

줄여서 피씨에서 돌리는거 깃헙에 있윽

[발명도둑잡기(118.216)]

음