[일반] 솔직히 트랜스포머 아키텍처 상으론 너무 구림

[딥삣삐(118.235)]

하나의 거대 행렬에 그냥 다 뭉뜽그려 넣으니까 평균적으로 좋은 방향에 수렴함. 

그러니까 환각 문제도 해결 안되고 뭉뜽그려진 표현들 때문에.

단순히 어탠션이랑 레이어로 쌓아서 복잡도를 보강하니까 성능은 나오긴 하는데

희소 활성화도 안되고 아키텍처 자체가 구림

미래는 절대 트랜스포머가 아닐거라 확신한다

[익명(118.235)]

새로운 아키텍처들은 계속 나왔지만 항상 돌고돌아 트랜스포머 짱짱맨 엔딩이긴 했음

[딥삣삐 1(163.152)]

임의의 시계열 데이터에 대해 ground truth를 찾아낼 수 있으면 트랜스포머 안 쓰겠지

[딥삣삐 2(118.235)]

흐름이 조만간인 것 같긴함

[익명(61.108)]

ㅋㅋㅋ 지랄을 한다 노암이 좆으로 보여?