[일반] 트랜스포머가 최근에 나온 혁신인거임?

[익명(61.75)]

ai 머신러닝관련 보면 다 7,80년대때 이론은 만들어놨고 이제 컴퓨팅파워가 되니까 나온게 많던데

트랜스포머는 몇년전 어텐션 논문이 시작인거맞나

그리고 얘가 스케일만 키우면 성능이 올라가서 지금 여기까지 온거아님?

[익명(175.206)]

ㅇㅇ 그럴 걸. 솔직히 혁신! AGI! 특이점! 이라고 부를 편린이 보인 건, 트랜스포머를 쓴 LLM에서 스케일을 키우기만 했는데 성능 저하가 없던 게 크다고 봄. 다른 DL, ML들은 스케일 키우면 전부 과적합이었으니까. 키운다고 좋은 게 아니었고, 혁신적인 사고를 통해서 성능 향상 이뤄내야 했으니까. 근데 일단 GPT부터 스케일만 키워도 뭔가...뭔가임.

[익명(115.143)]

지금 이름있는건 거의 다 트랜스포머니까

[익명(115.138)]

머신러닝 개념은 1950년대부터 있었더라 ㅋㅋㅋ