미네르바가왜 되는지 궁금해서 논문 읽음

미네르바는 PaLM 기반이래

그래서 PaLM 논문 읽음




논문에 PaLM 이 한 거 7가지가 요약되어있는데

1. swiGLU 함수 사용: 그냥 트릭 수준임.

2. 병렬화: 15% 정도 빨라짐

3. 멀티 쿼리 어텐션: 약간의 최적화, 할 수 있는 일  차이 X

4. RoPE: 인공지능이 절대경로 말고 상대경로 쓰게 함

5. 입출력 임베딩 공유: 그냥 늘 하던거라고 논문에 나와있음.

6. 바이어스 없음: 심지어 원래 있던 것도 빼버림

7. 사전은 이러이러한 걸 썼다




결론은 살짝 튜닝한게 전부임.

RoPE 말고는 쓰던거 재탕이 전부인데

암튼 스케일이 답인건가



3요:
1. PaLM 논문 읽어봄
2. 읽어도 왜 되는지 모르겠다
3. 스케일이 답인가보다

- dc official App