[일반] 트랜스포머는 한계라는 주장이 있던데

[익명(106.102)]

님들은 어떻게 생각함??

[익명(gpt2030)]

기술쪽에 나무위키 신뢰하면 바보임

[익명(106.102)]

저건 나무위키 주장이 아니고 조지호츠 주장임...

[익명(gpt2030)]

조지 호츠는 MoE를 썼을 거라 추측만 했음 저기서 트랜스포머 한계 어쩌고 이야기하진 않음 그리고 조지 호츠도 AI 연구원 아니라서 100퍼센트 신뢰할 필요는 없음

[익명(222.108)]

한계가 있는데 수조원을 퍼부어서 트랜스포머 모델을 개발하고 있을거라고 생각하지 않음 오픈AI 최근에 회사규범 바꾼거 보면 스케일이 중요하다고 아직 믿는 중임 그런거 보면 병목올려면 한참 멀었다고 봄

[YorushiKanyewest(yorushika12)]

한계는 존재하겠지만 아직 한계가 오지 않았다고 생각한다

[빙냥이ㄱㅇㅇ(6zd2cxvc44h4)]

꺼무위키 나라

[미친놈(114.200)]

선

[초존도초(htr3c654r6ft)]

한계가 있는지는 모르겠는데, 가장 기초적인 아키텍처인 건 분명함 여기서 더 고도화되어야지 언제까지 수조원 들이고 하드웨어에 의존하고 학습데이터 오지게 처박고 학습속도 개느린 채로 있겠음 훨씬 더 효율적인 게 분명 있을 거

[oo(59.28)]

어차피 기존의 트랜스포머 모델은 이미 구식이고, 지금 트랜스포머 수준은 저때랑 다름