[일반] 아예 트랜스포머부터 갈아엎어야 함

[일본녀(metaphor4328)]

포켓몬 게임 하나 못깨는데 현실에서도 텍스트 기반으로만 추론하다가는 개좆될 수 있음

내가 알파이볼브같은 재귀개선 연구가 더 발전되길 기대하는 이유임. LLM이 재귀개선해서 뭔가 새로운 걸 찾아낼지도 모르니까.

- dc official App

[익명(128.134)]

애초에 시작에 챗봇이라 공간인지능력은 따로

[익명(what6567)]

갈아엎고싶어도 그게 안됨. 예를들어 단순히 R^n의 원소가 아니라 함수 공간 사이의 Mapping 자체를 학습하는 아키텍쳐인 Neural Operator의 이상적인 구조는 결국 트랜스포머로 수렴함이 알려져있음.. 이정도로 추상적으로 만들었는데도 트랜스포머가 튀어나온다는건 트랜스포머 자체가 본질적인 구조임을 의미함

[익명(211.38)]

트랜스포머가 나온지 10년도 안됐을 텐데 너무 비약 아님?

[일본녀(metaphor4328)]

하 제발 재귀개선 장기기억 빨리 - dc App

[익명(what6567)]

@ㅇㅇ(211.38) GAN은 등장 이후 6년만에 수명 끝났잖아 트랜스포머는 GAN 이상으로 대체하려는 시도가 많았지만 그때마다 트랜스포머가 이상적임을 깨닫게 되었을 뿐임.

[익명(222.112)]

혹시 이거 논문 레퍼좀 줄 수 있음?

[익명(what6567)]

@ㅇㅇ(222.112)
https://arxiv.org/abs/2108.08481

[BR2049(elqlgb)]

AGI로 가는 유일하고 정석적인 길이 LLM인 게 아님. 애초에 포켓몬 따위는 LLM에서 중요한 요소가 절대 아님.