[📪정보] 언어모델의 알고리즘 진행

[익명(125.191)]

https://arxiv.org/abs/2403.05812

딥러닝의 등장 이후 언어 모델을 사전 학습하는 알고리즘의 개선 속도를 조사했습니다. 2012년부터 2023년까지 위키텍스트와 펜 트리뱅크에서 200개가 넘는 언어 모델 평가 데이터 세트를 사용하여, 설정된 성능 임계값에 도달하는 데 필요한 컴퓨팅이 약 8개월마다 절반으로 줄어들었으며, 95% 신뢰 구간은 약 5~14개월로 무어의 법칙에 따른 하드웨어 향상보다 훨씬 빠르다는 사실을 발견했습니다. 저희는 증강 확장 법칙을 추정하여 알고리즘의 진전을 정량화하고 확장 모델과 학습 알고리즘의 혁신의 상대적 기여도를 결정할 수 있습니다. 알고리즘의 빠른 발전 속도와 트랜스포머와 같은 새로운 아키텍처의 개발에도 불구하고, 분석 결과 컴퓨팅의 증가가 이 기간 동안 전반적인 성능 향상에 훨씬 더 큰 기여를 한 것으로 나타났습니다. 노이즈가 많은 벤치마크 데이터로 인해 제한이 있긴 하지만, 분석은 언어 모델링의 빠른 발전을 정량화하여 컴퓨팅과 알고리즘의 상대적인 기여도를 조명합니다.

[익명(99999999999n)]

Scale is all you need

[부패하는유전자!!!(sansss2015)]

[익명(112.163)]

[익명(112.163)]

[익명(112.163)]

[익명(112.186)]

[익명(125.191)]

[Joyful(approve1515)]