어디서 들은 숫자인지는 모르지만, 아무튼 10^22 라면 단위는 Flops야
현재의 한계선이 아니라 갑자기 모든 능력이 점프하는 컴퓨팅 파워라고 생각하면 돼
GPT-2나 3 정도의 규모에서 처음 창발을 일으키는 지점을 지칭하는 숫자로 불리고 있어
물론 지금 LLM들의 학습에 들어가는 컴퓨팅 단위는 비교도 안되게 클껄
익명(121.156)2024-05-15 00:25
답글
10의22승은 강시철 박사가 저술한 도서에서 읽은거에요. 위에 올려준 레퍼런스도 읽어볼게오 ㄳㄳ
https://arxiv.org/pdf/2206.07682
어디서 들은 숫자인지는 모르지만, 아무튼 10^22 라면 단위는 Flops야 현재의 한계선이 아니라 갑자기 모든 능력이 점프하는 컴퓨팅 파워라고 생각하면 돼 GPT-2나 3 정도의 규모에서 처음 창발을 일으키는 지점을 지칭하는 숫자로 불리고 있어 물론 지금 LLM들의 학습에 들어가는 컴퓨팅 단위는 비교도 안되게 클껄
10의22승은 강시철 박사가 저술한 도서에서 읽은거에요. 위에 올려준 레퍼런스도 읽어볼게오 ㄳㄳ