[일반] 경로적분이나 인피니 어텐선이나

[익명(indeed0357)]

거기서 거기임

[지니(ud6umt3mpv8r)]

ㅇㅇ 인피니 어텐션에서 일어나는 추론과정을 공식화해서 해석한게 경로적분이지

[익명(indeed0357)]

그냥 다 갖다 붙이자 MCTS도 갖다 붙이고 다층 어텐션으로 만족이 되겠냐 어텐션 트리를 만들어버려

[익명(indeed0357)]

진화론적 모델링도 넣고 SNN도 넣고 계속 진화해야하니까 GAN도 넣고 연산 효율을 위해서 게이트도 좀 넣고 1.58 비트넷도 좀 넣고

[지니(ud6umt3mpv8r)]

풀도핑인에 ㅅㅂ

[익명(indeed0357)]

이참에 하드웨어도 그냥 다 새로 설계하자 B200 서버를 세레브라스한테 맡겨서 칩 하나에 올려버려

[익명(indeed0357)]

그럼 AGI가 뭐야 ASI도 뚝딱 만들겠네

[지니(ud6umt3mpv8r)]

그런데 이전 컨텍스트들을 어텐션에 저장했을때 이 어텐션에 저장된 정보값들을 문제없이 활용할 수 있느냐 이게 중요할듯 컨텍스트 토큰에 포함시켜서 인풋시켰을때와 어텐션에 포함시켜서 인풋시켰을때의 품질차이도 봐야할듯