[🔨활용] AI를 학습시켜봄

[동물귀애호가(crawl1331)]

우선 본인은 코딩 하나도 모름

수학은 좋아하지만 잘 못하고

그래서 제미나이의 도움을 받았고, 정확한 건 모름

아무튼 1.58비트 모델이 가볍다고 해서 관심이 생겨서 학습시켜봄 (1비트 모델은 너무 극단적이고 실제로도 안좋다고 해서 포기함)
근데 그냥 학습시키니깐 뭔가 아쉬운거임

그래서 며칠간 제미나이랑 대화하다가

사원수라는 걸 알게됨

그래서 그걸 1.58비트 짜리 모델이랑 합치면 어떻게 되냐고 했더니

말이 안되는거임

게다가 사원수 자체가 계산이 복잡해서 기존에 연상량보다 거의 곱셈을 16배, 덧셈 12배는 더 해야 한다고 함

근데 1.58비트짜리는 -1, 0, 1밖에 안 써서
결론적으로 곱셈을 안 써도 됨 (가중치에 대해 덧셈, 뺄셈, 아무것도 안함 이 세가지니깐, 그리고 덧셈 뺄셈은 거의 타격이 없고)

그래서 16배가 의미가 없어져서
존나 개쩌는 모델이 되지 않을까 싶어서 2500만 파라미터짜리 작게 학습시켜봄

코랩에서 A100 GPU 빌려다가 학습시킴

가중치는 이렇게 나왔고

타이니 셰익스피어 데이터셋으로 학습해서 Loss는 1.5027까지 떨어뜨림

제미나이 피셜론 잘 나왔다고 하던데 진짜인진 모르겠네

there, that him honour queen, my change, pace! And ruch do with Lartion, do for our prosed With Hear sumpose any live. God--I have Even tinkled end from and thoman execute, 'With the that bless among wife-endly Lifter To sparperit indeed. For yield wong, be the gone! Nay, and my fares Servingman, face; I with withds Which with him bedien poison. PARIS: What, be so leink and strike it; marketal, But, then being openden and must be the again Shall dispieth, we would shall teder madected my face. Therefore to thy wort: yield, prosquest by heath. BRUTUS: Nay, you die, for now, some of you murderer, And let end than queen to be made, As that he this dark or enough'd we she mind. EDWARD: Unconformined the very own devil the fleshrend. DUKE OF YORK: What now, sir, think that he revengt of their good: And a heir teare this wedgent him, For I washing me, thou say sweet thy foul and By kindly names be aigns knowledged in hands thy luischion, Thou orted thy heart is pardon nightent, And thy F

[노암브라운(contend3854)]

너무어려워요

[익명(growth9372)]