[일반] 이미 매몰비용이 너무 커서 트랜스포머 못놓을듯

[익명(121.133)]

새로운 아키텍처가 나올 수 있는지도 모르겠음

씹천재들이 그렇게 많은데도 답 안나오는거보면

[익명(shore1232)]

적어도 어텐션 연산은 거의 최고효율인게 분명해보임. 트랜스포머는 셀프어텐션을 반복하는 아키텍처인데 이걸 개선했다는 모델들 보면 전부 연산효율을 개선했거나 아니면 훈련방식이나 목표를 바꾸거나.. 결국 그렇게 연구해도 어텐션 자체를 본질적으로 개선하지는 못함.

[노암브라운(contend3854)]

스케일링 <- 이거 하려면 어텐션밖에 답이없나봐 연구실레벨에서 대안아키텍쳐 쏟아져도 다 안되는거보면

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

타이탄즈 아틀라스 같은 트랜스포머 기반 옆그레이드 아키텍쳐가 있긴 한데 논문만 올리고 아키텍쳐 오픈을 안 함.