트랜스포머까지는 배웠고
llama bert gpt 중에 아무거나 배워보고 싶음
주 관심분야는 번역이랑 발화 패턴 분석인데 이거 아니더라도 nlp 관련된 거라면 기초적인 거 아무거나 공부해보고 싶다
영강인 건 당연히 상관없고 이왕이면 무료강의가 좋긴 한데 아니어도 질 좋으면 괜찮음
공지 보니까 CS224n 있어서 일단 Week 5부터 들으려고는 생각 중인데 다른 강의 추천 가능하면 추천 부탁
트랜스포머까지는 배웠고
llama bert gpt 중에 아무거나 배워보고 싶음
주 관심분야는 번역이랑 발화 패턴 분석인데 이거 아니더라도 nlp 관련된 거라면 기초적인 거 아무거나 공부해보고 싶다
영강인 건 당연히 상관없고 이왕이면 무료강의가 좋긴 한데 아니어도 질 좋으면 괜찮음
공지 보니까 CS224n 있어서 일단 Week 5부터 들으려고는 생각 중인데 다른 강의 추천 가능하면 추천 부탁
다 기본 구조는 비슷함
karpathy 유튜브 ㄱ 걍 gpt처음부터 만드는거 싹다 보여줌 - dc App
뭔가 대학수업처럼 듣고 싶은거면 umass advanced nlp ㄱㄱ - dc App
논문읽어 bert는 걍 인코더만 적층 gpt는 디코더 + 레이어 노멀라이제이션 rsm norm으로하고 블럭앞쪽으로 최신모델은 공개안해줘서 모름 llama 는 gpt에서 RoPE랑 뭐하나 더 있었는데 찾아봐 학습 데이터셋, 튜닝은 당연히 다 다르고 - dc App