Gpt : 스케일링 법칙

인공신경망 크게 쌓으면 쌓을수록 언어능력 올라감.
심지어 특이점을 넘으면 추론이나 상당한 지능이 요구되는 언어문제도 풀어냄.

Llama : 학습 데이터 크기 관계 밝힘

학습 데이터 더 때려박으면 작은 사이즈 모델로도 gpt3급 성능 낼수있음.

DALL-E : 멀티모달의 서막

LLM모델과 vision모델 합치면 사진을 보고 추론을 하거나 생성도 해줌

모든 재료가 있고 요리만 하면 되는 상황인데
어떻게 요리하는지(모델 아키텍쳐 구성, 옵티마이저, 등등)를
구글이나 MS meta에서 GPU사모은걸로 모든 ai리서쳐 엔지니어 다달라붙어서 돌리고 있을듯.