300M 짜리 복원 모델부터 하나만드는데 지옥이구나


개시발 배치 행렬연산이 애초부터 잘못된거였네


배치가 없으면 vram을 ㅈㄴ 게 아낄수있는데 오래걸림

배치가있으면 vram 사용률이 기하급수적으로 증가함


이게 다 seq len의 pad 삽입 문제다


그리고 제미나이 간혹가다 단어 ㅈㄴ게 똑같은거 튀어나오는경우도있는데 이거 멀티헤드 문제임 셀프어텐션 한계가 확실히 있음