[일반] 트랜스포머 방식도 벌써 한계에 달했다고 함

[anvil(anvilarrow)]

이건 최근 gpt4 성능감소 떡밥과 연관이 있음

- dc official App

[익명(39.121)]

내용은 알겠는데 넌 왜 항상 특이점에 부정적인 글만 쓰는거임? 긍정적인 글도 좀 써주라

[anvil(anvilarrow)]

기술발전 정체된단 예기가 넘 많이 들려서 불안해서 그래 - dc App

[방구석4평(hjcho0331)]

뻘글도 아니고 정보글인데 부정적인 얘기만 쓴다고 뭐라하는건 좀 그렇다, 이것도 결국 미래과학에 관련된 얘기인데

[부패하는유전자!!!(sansss2015)]

일리야가 gpt4 출시후 아직 스케일 업으로 할수 있는게 많다던데

[익명(landofooo)]

ㄹㅇ 최적화 잘되면 파라미터수는 더늘려도 될텐데

[익명(222.108)]

뭔 소리냐 저건 GPT4랑 3.5랑 체감이 안된다고? 여러 지표들에서 훨씬 우위고 엊그제쯤 구글에서 나온 Large language models are optimizers 논문에서도 GPT 3.5랑 GPT 4 최적화 능력도 현저하게 차이가 나는데 스케일링 아직 한참 멀었음 - dc App

[익명(61.255)]

매개변수 증가 비율이 성능향상 비율보다 너무 크다는 말인듯

[익명(221.144)]

근데 뭐 트랜스포머가 워낙 유명하긴 하지만, 2017년도에 나온거고 AI분야에선 오래 쓰긴 했지. 그럼 새로운 방식이 나올 수도 있고, 그냥 보완한 방식이 나올수도 있고 논문이 어마어마하게 쏟아지는 중이라 저런 의견도 있을 수 있다곤 생각함. 저것 때문에 AI 발전이 막히고, 트랜스포머 방식 쓰는 모든 모델이 정체되고 그렇게 해석할 사람은 없을 듯.

[ㅇㅋ(ijh2005)]

뭐 어텐션에 한계가있다 ㅇㅈㄹ하는 애들은 세상에 널리고 널렸지