원래 기술이 난잡했던 AI분야에서 딥러닝이 텐서라는 개념과 파이토치가 표준이 된 것처럼
강화학습은 Q-learning, PPO, SAC 그거 다 갖다 버리고 DT로 와야 함....
괜히 허깅페이스가 패권을 잡고 LLM AI 시대가 열린 게 아님
transformer가 학습/추론 효율이 좋고 표준적인 아키텍처임
그리고 최근에 추론 속도도 강화시킨 medusa처럼
어텐션/최적화 깊게 들여다 볼 능력이 된다면 여전히 개선될 여지가 많음...
transformer가 결국에 거의 다 이겼고...
약간의 rwkv처럼 대안 모델이 몇 개 있는데 그게 확실하지가 않음
아직 다 이겼다고 보기엔 맘바같은 ssm은 두고봐야함 기본적으 로 사람들한테 접근성이 너무 안좋을정도로 어렵고 어텐션 기반 모델이 워낙 주되다 보니까 더 깊이 탐색을 안한거지 가능성은 잇다고 봄 그리고 q 러닝은 아직 정체가 제대로 밝혀지지도 않앗는데.. 일종의 프롬프트 엔지니어링 기법일 가능성도 잇음
완벽하게 이긴 것보다 대체로 다 이겼음... 그리고 트랜스포머의 절대적인 장점이 있음... 쉽게 CLM / MLM을 쓸 수 있고 그래서 거의 표준 아키텍처라는거... 트랜스포머가 난해한거 맞는데 지금 나도 그걸 직관적으로 이해할 수 있는 도구도 있음...
아니아니 난해하다는 건 ssm두고 얘기한거긴 햇음 암튼 “거의다 이겻다” 라는 건 맞는 얘기지만 맘바는 의외로 나오고나서 계속 잔잔하게 사람들이 연구하고 잇더라고 오픈ai는 이런 대안적인 아키텍쳐 나오면 다 한번씩 검토해보고 잇다고 하니까 실제로 제품에 논트랜스포머가 쓰이면 그때 진지하게 생각해봐도 될거같긴함
트랜스포머보다는 어텐션 기반 모델이 정확한 표현이긴 함... 그래서 수천 개의 변종이 있고 이게 어려운 거지... 참고로 나 지금 트랜스포머 모델의 구조/성능 분석 도구 만들고 있다... 이거 해결할 아이디어 찾아서... ㅎㅎㅎ
어텐션 대안 논문들 이곳저곳에서 수도없이 나온걸로 아는데 결국은 원래쓰던거 쓰자 인거야?
문제는 SSM이나 rwkv같은 대안 기술들이 아직 체계적으로 검증 안됐다... 특히 대규모 실험에서... 예를 들어 mlp-mixer가 트랜스포머에 비벼봤지만 마이크로소프트에서 진행한 SPATCH 연구에서 대규모에서 후달리게 되었음... 그리고 트랜스포머도 옛날 트랜스포머 아님... 개량버전 무수하게 많이 있음... 내가 요즘 보는건 구조적 트랜스포머 분야다...
혹시 주로 어떤식으로 개량됬는지 큰줄기만 대충 짚어줄수있음?
그리고 대규모실험이 역시나 골치아픈 문제네 굴릴만한곳들은 대부분 CLOSED AI 행세 하고있어서 좀 시원하게 까발리면서 대규모모델 실험해주는곳이 생겼으면 한데... 좀 AGI같은게 나와서 세계가 안정되었을때까진 통제되는건가
분야별로 틀려서... 강화학습 쪽? 아니면 LLM 쪽? LLM은 나도 잘 몰라서 말해주긴 좀 그래... 난 원래 Symbolic AI 전문으로 했음....
잘아는 쪽으로 설명해주면 진짜 고마울거같아 나같은 취미독학러는 안꼴리면 안찾아보다 보니 이런거 ㅈㄴ 약함
DT 장점은 sparse RL 문제같은 걸 이미 NMT 영역에서 MLM 문제를 해결할 때 썼던 방법들을 그냥 가져다 쓸 수 있다는 장점이 있고, 결과도 잘나왔다 2~3년 전에 SOTA 찍었다... 최근 강화학습 동향을 봐도 개인적으로 diffusion model과 결합하는 것 빼고는 인상적인게 없음... 중국 강화학습 연구자들 일부는 DT 기반으로 여러가지 시도하는데 이게 표준적이고 이론적으로 체계적이라서 괜찮은 게 많다...
잠깐 decision transformer 구글링하고 왔는데 어텐션 자체의 개조가 있는건 아닌가보네? 걍 텍스트넣는자리에 강화학습공간에서의 상태값들을 순차적으로 나열한걸 넣는느낌? 물론 자료형태가 다르니까 그에 맞게 튜닝은 했겠지만
DT는 그런 식이고 그래서 개쩌는거임... 그냥 존나 쉽게 해결한거.... 그리고 트랜스포머 엔지니어링하는데 External Attention 접근법도 있음...
트랜스포머 자체에 결함이 존재해서 추론속도 저하되는 버그 발견했다 하던데 그거 수정된거임?
트랜스포머 자체는 원래 문제 많았고 가장 큰 문제는 시퀀스 길이 제한 있던거고... 그런거 해결하는 논문은 무수히 많음.... 몇만개될걸? 그래서 트랜스포머가 굉장히 이해하기 어렵긴 한데... 그거랑 별개로 트랜스포머가 당분간 표준적인거 맞음...