오늘은 떡밥도 없고 하니 아침에 잠깐 본 글에서 재미있는 댓글이 떠올라서 글써봄.
이 댓글이었는데, 재미있게도 ChatGPT같은 LLM에도 비슷한 현상이 나타나는 부분이 있다는 점이야.
보통 이걸 창발성(Emergent Abilities) 이라고 하는데, 시스템 내에서 양적 변화가 어떠한 질적 변화를 가져올때를 의미함.
https://arxiv.org/pdf/2206.07682.pdf
이게 창발성과 관련해서 작년에 나온 논문이고 AI관련 책등이나 이런데선 제법 다루는 주제인데, 그래프 하나가 내용이 제법 재미있음.
이건 단순 질문 같은거 말고 생각의 사슬 프롬프트 같은걸 썼을때, 각 태스크별로 모델 크기에 따른 답변 성능을 보여주는 그래프야.
보면 여기서 제일 놀라운건, 같은 방법이라도 모델크기가 작을 경우 창발성이 나타나지 않지만 어떤 순간을 기점으로 갑자기 창발성이 확 생기는걸 볼 수 있음.
조금 쉽게 말하면 LLM 의 모델 크기가 일정 수준이 넘는 순간 얘가 갑자기 좀 똑똑해지는 구간이 있다는 이야기임.
물론 현재의 LLM들은 아직 인간만큼 성능을 내지는 못하고 갈길이 남긴 했음. 할루시네이션 문제도 있고.
그래도 문득 저 댓글 내용을 보니 이게 갑자기 생각나서 썰풀어봤음. ㅋㅋ
정보글은 개추야.
그 창발성플레이할때 창발인가
단어 자체는 같은거길 할텐데 여기선 양적 변화 중 어느 순간 질적 변화가 발생하는걸 의미하긴 함.
percolation이랑 비슷한 느낌이 있네
피라미드 같이 계층적 변화를 통해 의식이 탄생하는건가