[일반] ㄹㅇ창발이 중요함

[익명(121.133)]

llm이 주목받는 이유가 스케일링 조질때 튀어나오는 특성, 일명 창발 때문인데

벤치마크 포화시키는게 중요하겠냐

벤치마크는 이 변화를 어떻게 측정하지 하고 인간이 만들어낸거고

창발은 인간이 생각지도 못한 특성이 떠오르는건데

단순하게 벤치마크 상으로 별로니까 스케일링은 망했어 ai는 스캠이야 이건 아니라고봄

[Invariance(command1270)]

창발이란 허상이란 논문도 있음

[ㅇㅇㅇㅇㅇ(lsh0320jpgpw)]

창발적 기능이 잠재적으로 존재하면서 잘 나타나지 않다가 그 도메인 일반적인 패턴의 입출력에서 유의미하게 드러날만큼 내재화되기 시작하는 임계점 아닌가 창발이라고 부르는 게

[ㅇㅇㅇㅇㅇ(lsh0320jpgpw)]

그 논문 반박 논문도 있던 거 같은데

[글쓴 ㅇㅇ(121.133)]

결국 그 논문내용도 LLM의 성능이 실제로는 파라미터 수에 비례하여 점진적으로 향상되고 있다는거니까 뭐... 이리보나 저리보나 스케일링을 믿어야한다고 생각함

[ㅇㅇㅇㅇㅇ(lsh0320jpgpw)]

반박 논문 보니까 모델 크기나 연산량이 아니라 충분한 학습을 통해 손실이 임계점을 넘을 때 나타난다라네 맞잖슴 ㅇㅇ 처음 그 없다는 논문 정확히 어떤 내용이었지