있는거 lora같은 별의미도없는 걸로 파인튜닝 하는 그런거나 에이전트 같은 거말고


Model class

Loss

Sampling


등 논문급 연구해서 직접 pre training 시켜서 원조 모델 짜는 놈들 있음?


Llm같은 output이 to text 이런것들은 죄다 학습 자체가 쉬운거라 패스하고 이 이외것들 하는사람들 ㅇㅇ 얘를들어 sora나 sd 같은 sigma -> latent 생성 디퓨전 ㅇㅇ


ㅈㄴ 궁금해서 그런데 글카지원 받으면서함? 개인으로함?

이거 sora급으로 훈련시킬라면 최소 h100 5장인데

완성본은 나왔는데 해상도 키워서 장거리 attn 하려니 oom 문제생기네 gradient checkpointing 해도 ㅈㄴ 빡세서 a100 40gb 한장으론 어떻게든 모델 재구성해봐도 5초 초당 24프레임이 한계임