[일반] 애초에 지금 쓰이는 모델들이 초기에 고안된 llm에 차력쇼한게 아니잖아

[익명(ounce1352)]

기존 트랜스포머 모델은 그록이나 gpt4정도까지지

요즘 쓰이는 추론 모델들은 순수한 트랜스포머 모델이라기보단

멀티모달에 이것저것 최적화하기 위해 수정을 좀 거친 모델들인데 왜 이렇게 비관적으로 보는거임?

gpt 4.5사례 보면서 파라미터 늘리는걸로는 한계가 있다는걸 다들 알고 있었을테고 그거때문에 

연구직들이 몸비틀어가면서 새로 계속 만들고 연구하는건데

도대체 왜 이제와서 이러는거?

[익명(ounce1352)]

생각해보니 그록도 멀티모달이긴하네

[갉달비(secure2924)]

순수 트랜스포머라고 볼 수 있음. 이미지도 같이 인코딩 되고 이미지도 토큰화 되는거고 / 추론 방식도 회사마다 다르긴 하지만 토큰을 뱉어내는 방식으로 추론하고 답변하는거라 트랜스포머를 벗어나지는 못함

[익명(ounce1352)]

초기에 고안된 트랜스포머랑은 거리가 있다는거지 트랜스포머구조 어느정도 버리고 타이탄같은 구조로 갈 필요성은 있어보임

[갉달비(secure2924)]

맞음. 초기에 고안된 트랜스포머랑 거리가 있다기 보단. 학습 방식이 달라진거라고 봐야함. 데이터셋 구성이나 loss를 잘짜는 것 만으로 딥시크가 증명했으니... 암튼 타이탄은 필요하긴 할듯 지금의 LLM은 기억력이 '0'

[ㅇㅇ 1(14.4)]

ㄹㅇㅋㅋ 단순한 LLM에서 멀어진지 오랜데