념글에 나온 앤트로픽에서 LLM 분석했다는 논문이

위에 나온 아키텍쳐를 사용해서 LLM의 동작을 분석한건데


2016년에 나온 논문에도 비슷한 그림 나옴 (https://arxiv.org/pdf/1605.06431)




앤트로픽에서도 'residual stream' 이라는 구조에서 아이디어를 얻은건데,

예전에도 트랜스포머 구조를 이런 형태로 해석할 수 있다는 연구가 있었음.


물론 그 논문이 앤트로픽에서 내놓은 연구랑 비슷한걸 내놓은건 아닌데

거의 10년 전에도 비슷한 아이디어가 있었고 그게 오늘 나온 연구의 핵심 아이디어들중 하나니까

공부해놓으면 앞서진 못해도 앞서 생각해볼순 있겠지